Arize 用 Skills 调试金融 Agent：从 0% 到约 90%，人还要做什么？

导读

金融 Agent 给出糟糕答案后，团队往往不知道该改提示、工具还是评测。Arize 的 Ankur Duggal 演示了一条可复查的修复路径：把运行轨迹、已有评测和代码交给编码 Agent，让它收集失败案例、提出修改并在同一批样本上复测。轨迹能显示用户问退款时系统是否调用了错误工具，也能暴露工具失败后仍声称成功等问题。一次跨市场股票查询实验中，原始案例通过率为 0%；先规范股票代码仍无效，追查后升级旧工具版本才达到约 90%。团队还根据发现的新问题补充工具成功与数字依据评测，避免只看最终摘要。人需要决定访问权限、定义好坏标准并检查修改是否针对根因；评测可以按风险和预算抽样，继续观察新版本是否让原有能力退步。