反复提醒 Agent 之后，怎样让它真的学会？Will Brown 谈企业自己的模型
反复提醒 Agent 的要求，怎样变成它以后能用上的经验？
Evals
52 篇文章
全部文章
AI 评测为什么要不断加难，又要保住旧功能？
模型总分更高，为什么用户反而发现旧功能不能用了？
便宜的 AI 模型为什么反而更费钱？Vals AI 用真实任务重新算账
怎样在不降低工作产出的前提下，减少 AI 开支？
Warp 怎样把每个 PR 的成本从约 80 美元降到 15—20 美元？
团队用了越来越多编程智能体，怎样判断软件交付是否真的更便宜、更可靠？
花旗误付 9 亿美元之后，AI Agent 的权限该怎么管？
怎样让企业 Agent 保有办事能力，又能拦住不该执行的动作？
AI 代码评审 Agent 怎样少漏 bug、少添乱？Greptile 的自建经验
给 PR 接上评审 Agent 很容易，怎样让它少漏严重错误，又不把无关意见变成返工？
语音 Agent 被打断以后，怎样还能把事情办对？
语音 Agent 被打断以后，怎样既接得自然，又把后台事情办对？
Agent 会提交修复以后，AI 工程师还要做什么？Arize 的评测与运行设计
Agent 已能查运行记录、提出修复并提交代码，AI 工程师还应该负责什么？
Agent 便宜了 28%，却仍没用对工具：Stephanie Jarmak 怎样做评测
Agent 的成本降了，怎样知道它真正解决了原本的问题？
AI 客服答错后，谁能拦住它？New York Life 研究者怎样评估整套系统
模型难免答错，部署前怎样判断错误会不会真的伤害客户？
没有现成基准，怎么测合同 Agent？加航团队先把答案放进测试里
业务没有公开基准、专家又没空随时评分，怎样持续检查 Agent 是否变好？
ChatGPT 怎样做成金融产品：数据要接得稳，结果好坏还得有人判断
通用模型已经会做表和幻灯片，金融产品还应该替用户补什么？