模型得了多少分还不够：Noam Brown 解释为什么评测必须加上成本、时间和 token

导读

模型在榜单上只高几分，可能并非进步很小：它也许用更少时间和 token 达到了相近结果。OpenAI 的 Noam Brown 建议评测同时报告性能、时间和成本，最好画出不同预算下的曲线，而不是只比较一个分数。同一道题生成五次再挑最好答案时，五次生成、评审和工具调用都应计入；多模型路由也应与同一预算下让单模型继续思考的结果比较。Noam 用自己熟悉的扑克求解器检验模型，发现它能优化复杂代码，却曾把简单的损失计算答错，说明总分不能替代贴近企业实际任务的测试与核验，重复运行还应记录成功率与失败类型。增加预算也有边界：缺少外部事实或可靠验证时，多想未必有用；安全评测则需要在不同预算下观察高风险能力。