给电子表格套一层 UI 还不够：Braintrust 为什么把 Evals 做成一套数据系统

导读

一张电子表格足以开始评测 Agent，但真实用户上线后出现的失败，还要能被找到、复现并带回下一轮测试。Braintrust 的 Hossein Niazmandi 介绍，评测平台因此需要把测试数据、运行轨迹、人工判断和生产观察连起来。团队先用固定样例比较模型或提示词的修改；上线后记录模型调用、检索和工具操作，才能发现例如回答说已取消订阅、后台却没有完成的情况。领域专家再判断哪些失败值得加入测试集，并补足复现所需信息和脱敏处理。测试集与评分规则也要保留版本，否则分数上升可能只是考题改变。生产轨迹一多，平台还需同时支持快速查单次失败和跨大量交互聚合分析。Coding Agent 可辅助筛查日志、修改应用和跑实验，最后仍由人查看结果并决定哪个版本上线。