给客服 Agent 加一句安全提示，为什么任务反而做不完了？

导读

修复 Agent 的一个问题，怎样避免弄坏原本正常的任务？Arize 的 Sofia Jakovcevic 主张，从生产运行记录建立回归集，再用同一批任务比较每次改动。退款演示里，“每次行动前先确认”让安全提高，却因反复等待使用户离开、完成度下降；把两项分数平均，反而会掩盖变化。团队因此既保留已知失败和边界情况，也放入必须继续成功的常用流程，先记录基线，再只改一项提示、模型或交接方式，分别评估完成、安全、延迟和成本。运行轨迹补充具体步骤，解释分数为何改变；每次提交通过预定条件才允许合并，线上新失败再进入下轮测试。Sofia 还希望编程 Agent 能读取生产记录，在提出修改时看到用户实际经历，而不只看到那一行提示词。