怎样知道 AI Agent 不是“看起来不错”？一套从 Trace 到 CI 的评测方法
Agent 每次回答和行动都不同，怎样知道新版本真的更好？
Evals
52 篇文章
全部文章
Gemini 团队怎样决定模型该学什么：先做原型，再用 20 条提示词把问题说清
一款模型同时服务搜索、邮件、编程和外部开发者，团队怎样决定下一步改什么？
AutoResearch 不是把 Agent 放出去跑：Parameter Golf 里，评测和人类转向怎样决定结果
自动研究 Agent 可以不停写代码和运行实验，但长时间搜索仍可能停在原地。
Arize 用 Skills 调试金融 Agent：从 0% 到约 90%，人还要做什么？
金融 Agent 给出糟糕答案后，团队往往不知道该改提示、工具还是评测。
Agent 怎样改进自己：Langfuse 把生产 Trace、评测和 PR 接成一条循环
Agent 的输出事实正确，用户仍可能不断修改；Langfuse 的更新日志工具就把内部术语直接写给了客户。
Waymo 还没有产品时，不到五名 PM 先去搬版本、擦传感器
面对需要多年研发、又没有现成标准的产品，PM 怎样帮助团队一步步前进？
Agent能在运行时给自己写工具，但“写出来”和“可以放心运行”还差几步
Agent 遇到没有现成工具的任务时，怎样在运行中补充能力？
12 次 GPU 实验跑完，最好结果从 5.831 变成 5.833：为什么 ARIA 没有创造新纪录
研究 Agent 能自动启动多次 GPU 实验，但运行次数增加不代表研究结果一定改善。
模型能力突然跳一级时，Anthropic 怎样把研究变成产品？
模型能力不断变化，产品团队怎样发现新机会并把用户反馈送回研究？
Wispr 最怕认错同名联系人，Pendo 最怕代码泄密：三家公司怎样把 Managed Agents 接进生产
把 Agent 接进真实业务后，怎样确保它找到对的人、记住对的账户信息，并只使用获准的工具？
模型得了多少分还不够：Noam Brown 解释为什么评测必须加上成本、时间和 token
模型在榜单上只高几分，可能并非进步很小：它也许用更少时间和 token 达到了相近结果。
模型可以换，公司的判断不能丢：Satya Nadella 如何把企业 AI 的控制权留在自己手里
企业依赖外部模型处理工作时，怎样在更换供应商后保留自己的业务判断？