ARIA 在生产里漏掉一次 weave.log，团队怎样把这条失败变成回归测试？

导读

Agent 的一次线上错误修好后，换模型或提示词仍可能让同类问题回来。Weights & Biases 的 Zubin Aysola 展示，团队把生产轨迹转成可重跑的离线任务，再比较当前版本与候选版本，让失败成为回归检查。ARIA 曾在沙箱中漏掉一次 SDK 调用，团队让它读取清理后的轨迹、重建任务和环境，再用加入针对性指令的候选与线上版本比较。为了减少离线与生产的差异，团队尽量运行相同的 Agent 代码和工具配置，并定期同步；但权限、网络和数据状态仍可能不同。成功轨迹也进入评测，避免修好一个问题时破坏原有能力。评分既检查任务是否达到明确终态，也比较不同版本遇到信息不足时如何行动；人再查看轨迹，决定是否采用候选。