一个 Agent 任务为何会从 21 美元涨到 200 多美元：缓存、推理强度与模型选择

导读

Agent 的单次调用看起来便宜，为什么完成一个任务却要花几十甚至上百美元？Artificial Analysis 联合创始人 George Cameron 认为，模型选型应比较完整任务的成本与效果，把调用轮数、输入积累和缓存命中一起算进去。在团队展示的知识工作评测中，约十三美分的一次调用，经过一百六十五步累积成约二十一美元；按同一账单去掉缓存折扣，费用会超过二百美元。提高推理强度还会增加后续输入，不能只看当次多用了多少推理量。他进一步区分两类工作：查清订阅金额，只需找到足以答对的低成本模型；分析企业成本，则可能值得为更好的判断多付钱。公共榜单用于筛选候选，投入生产前还要用自己的任务比较约五个模型，确认多花的钱是否换来了所需的结果。