别再按 token 单价算 AI 成本：先看任务能不能真正完成

导读

模型的 token 单价低，不代表一项业务任务的总成本低：如果客服机器人没能完成改签，人工接手和反复调用也要算钱。OpenAI 的演讲者建议先定义任务和可接受的质量门槛，再比较不同模型与配置完成任务的成本。团队可以用代表真实请求的评测集，把准确率和成本放在一起，筛选达到门槛的组合；简单任务可测试较小模型，复杂任务再评估更高推理能力。除了换模型，还可以让程序先合并工具返回的中间数据，只把需要判断的部分交给模型；稳定的提示前缀则可用于缓存，非紧急批量任务可选择较长的处理窗口。演讲转述 Clio 的文档分析案例称提示 token 减少 38%，质量未下降。讲者建议每次只改一个变量，记录效果；应用或模型变化后再用同一套任务重新测试。