Agent 做到 80% 可靠，客户为什么还是不敢用？

导读

Agent 的平均成功率看起来不错，客户仍可能因为需要盯住失败、收拾残局而不敢把工作交出去。Amazon AGI Lab 的 Felipe Blanes 主张把真实客户的任务和失败持续写回评测，并说清产品目前的适用边界。Nova Act 团队先与客户确认什么才算完成，再结合访谈、使用记录和日志收集问题，区分模型能力、外围工程和产品说明上的缺口，分别交给相关团队处理。客户反馈带来了不同改进：卫星互联网项目推动团队缓存已走过的轨迹，失败时再回退到模型；汽车行业的 QA 用户则暴露了非技术人员需要不同操作方式。Felipe 观察到，可靠性接近 90% 时，部分客户才开始愿意交出整段工作，因为他们衡量的不只是成功率，还包括监督和补救失败要花的时间。