Agent 会提交修复以后，AI 工程师还要做什么？Arize 的评测与运行设计

导读

Agent 已能查运行记录、提出修复并提交代码，AI 工程师还应该负责什么？Arize 的 Aparna Dhinakaran 把工作重心放在持续发现问题、检查修改和保留状态的系统上。Signal 按节奏或事件醒来，装入近期记录、日志与代码权限，在临时隔离环境里分析；任务结束后保留发现和状态，销毁环境并移除凭据，下一轮才能接着判断旧异常是否变严重。运行状态放在环境外，也让中断后重新启动并从失败步骤继续成为可能。修复提交后，团队用真实错误组成的回归集检查，同时把模型裁判与人工标准答案对齐，调整两者有分歧的判断。上线前后的评测都会使用运行记录，生产中发现的新问题再回到下一轮检查。工程师需要决定哪些状态必须延续、什么结果算对，并检查一次修复有没有破坏原来能做好的事。