Agent 怎样改进自己：Langfuse 把生产 Trace、评测和 PR 接成一条循环

导读

Agent 的输出事实正确，用户仍可能不断修改；Langfuse 的更新日志工具就把内部术语直接写给了客户。团队用生产轨迹和审阅反馈找到这个问题，再让编码 Agent 补样本与评测、调整上下文和 skill，并在同一批案例上比较新旧版本。改进后的版本在演示中更符合用户语言，格式和准确性没有退步。这套循环把线上真实错误带进离线评测：只看生产记录难以比较版本，只做固定测试又容易脱离用户。人仍需决定哪些问题值得修、如何定义成功，并审核改动；更新日志 Agent 只能提交 PR，公开内容仍经过原有审批。随着改进 Agent 定期读取历史轨迹，团队还需要考虑记录的保留和查询，让下一轮分析能够找到以前的失败案例与用户反馈。