Agent 能在夜里自己改好故障吗？Arize 从一次玩具搜索错误讲起

导读

怎样让 Agent 夜里排查故障，早上交回的修复又有依据可供审核？Arize 的 Fuad Ali 把运行记录、源码、失败请求和评测接成改进流程。玩具店演示中，类别格式不一致导致搜索落空，助手改搜全部商品，绕出三次模型调用；Signal 对照记录与代码找到原因并提出修改。接下来，人选择值得保留的失败请求，写清判错标准，再让修复版本重跑，同时检查其他能力是否退步。对于“筛选结果是否满足用户”这类较难判断的问题，产品经理还要结合原始问题、结果和后续行为逐条标注，帮助团队建立评测。Ali 也建议按风险与费用选择线上抽样频率，把重要的已知失败放进合并前的回归检查；人最后查看输出、代码与复测结果，决定是否合并。