银行 Agent 说“退款已发出”，其实什么也没做：Langfuse 怎样给高风险 Agent 设上线门槛

导读

高风险 Agent 的回复看起来正常，怎样判断它真的完成了任务？Langfuse 的演讲者建议把运行记录、专家判断和上线测试连起来：例如客服声称退款已办好，系统没有报错，记录却能显示退款工具根本没有被调用。团队先记录模型和工具的输入输出，并在写入可观测系统之前遮盖信用卡号等敏感信息；再从生产记录抽样，请领域专家标出具体失败，把确认过的案例加入测试集。评分时，需要语境的判断可交给语言模型，能精确表达的条件则用代码检查，并定期拿人工标注校准模型评分。每次修改提示词或模型后，团队可以用固定数据集重跑，按各项阈值决定是否允许上线；上线后再把新发现的问题补回测试集。自动化可以扩大实验数量，但银行等领域的专家仍要定义什么结果可接受，以及哪些边界不能越过。