工程师看不到客户合同，Legora 怎样把法律 Agent 做好？
工程师看不到客户合同和大量 Agent 运行记录，怎么改进法律产品，又让律师检查答案？
Evals
52 篇文章
全部文章
便宜模型和生产模型有 18% 分歧，先别急着淘汰：OutRival 如何验证 token 优化
提示词缩短或换成便宜模型后，怎样确认省下的是成本而不是质量？
Agent 能一直写代码以后，怎样评测、审查并隔离客户数据？
多个 Agent 能快速生成代码后，评测、审查和客户数据隔离反而成为生产系统的新难题。
Agent 做到 80% 可靠，客户为什么还是不敢用？
Agent 的平均成功率看起来不错，客户仍可能因为需要盯住失败、收拾残局而不敢把工作交出去。
给电子表格套一层 UI 还不够：Braintrust 为什么把 Evals 做成一套数据系统
一张电子表格足以开始评测 Agent，但真实用户上线后出现的失败，还要能被找到、复现并带回下一轮测试。
Upstart 的语音 AI 怎样接受审核：从混乱的表格到 92% 的人机判断一致率
受监管业务怎样知道语音 Agent 做得对，也知道给它评分的模型值得信任？
78%说想要，实际只有10%—15%使用：Bumble的AI照片反馈为什么不能只看A/B测试
一个 AI 功能让用户更活跃，就值得继续投入吗？
AI 应用返回了 200 OK，为什么监控仍然可能什么都没发现？
AI 应用返回 200 OK、延迟正常，用户仍可能收到不相关或编造的答案。
推理成本为什么会超过训练：从重复读取代码库，到同一个模型的质量差异
模型训练完成以后，怎样让大量用户反复使用它，又保持质量、速度和可承担的成本？
ARIA 在生产里漏掉一次 weave.log，团队怎样把这条失败变成回归测试？
Agent 的一次线上错误修好后，换模型或提示词仍可能让同类问题回来。
招聘 Agent 总推荐 Google 员工，招聘者却想找 GitHub 上的冷门高手：怎样把这种偏好写进系统
招聘 Agent 总推荐大厂名人，招聘者却希望找到开源社区里的冷门高手，怎样把这种偏好变成系统能力？
一次 Agent 运行花了很久，最后只留下一个“0 分”：GEPA 为什么要把错误日志也拿来学习
复杂 Agent 任务失败后，如果只保留一个分数，编译错误和工具反馈里的修复线索就被丢掉了。