给电子表格套一层 UI 还不够:Braintrust 为什么把 Evals 做成一套数据系统
一张电子表格足以开始评测 Agent,但真实用户上线后出现的失败,还要能被找到、复现并带回下一轮测试。
一张电子表格足以开始评测 Agent,但真实用户上线后出现的失败,还要能被找到、复现并带回下一轮测试。
Agent 的一次线上错误修好后,换模型或提示词仍可能让同类问题回来。
高风险 Agent 的回复看起来正常,怎样判断它真的完成了任务?
AI 输出总要人工重改,评测规则却越加越多,怎样找出真正影响质量的失败?