AI 评测为什么要不断加难，又要保住旧功能？

导读

模型总分更高，为什么用户反而发现旧功能不能用了？Ramakrishnan Lokanathan 主张，评测应先写清产品承诺，再同时检验新能力与旧功能。只要求换图片背景，还得检查物体有没有被改；工具调用、各步输入和中间结果，也要按职责核对，不能让终点总分掩盖过程错误。团队可以从用户反馈和运行记录收集失败，复现后追查原测试为何漏掉，再加入每次部署都执行的回归检查。随着模型不断过关，继续增加困难情境，同时保留已经会做的任务和过去犯过的错。他介绍游戏对局，是想多观察连续决策和失误恢复，赢棋却不能证明业务可靠。自动评测之外仍要有人核查结果是否合理；何种失败不能接受、何时必须停止，要由产品团队明确，而非套用一条通用放行分数。