Agent 便宜了 28%，却仍没用对工具：Stephanie Jarmak 怎样做评测

导读

Agent 的成本降了，怎样知道它真正解决了原本的问题？Stephanie Jarmak 的经验是，先明确测试要支持什么决定，再沿任务过程查证。她希望 Agent 使用代码搜索工具，改提示后费用虽低了 28%，工具仍没被调用，因而不能宣布优化成功。评测要从真实工作分类取样，在将来部署的模型与运行框架组合上重复执行；搜索既看需要的信息有没有找齐，也看混进多少无关结果。排查时，先确认工具是否可见，再看是否调用、返回什么、信息有没有进入后续处理以及最终结果是否改变，完整轨迹帮助区分各步失败。发现异常也不等于停止工作，还需代码门禁强制阻断，并确认人工接手量能承受。上线后继续观察，影响范围大的改动也可先影子运行，看看测试中的判断放到实际工作里会怎样。