怎样知道 AI Agent 不是“看起来不错”？一套从 Trace 到 CI 的评测方法

导读

Agent 每次回答和行动都不同，怎样知道新版本真的更好？Arize 的 Laurie Voss 先读完整运行轨迹，从实际失败中定义检查，再固定输入做前后实验。轨迹揭示金融报告把不同来源的百分比混成一百一十六，帮助团队区分检索、推理和编造问题。确定条件用代码检查；语义问题交给看过同样材料的模型裁判，并用人工标签校准，规则和标签都要保留版本，另留测试集。实验中，提示词修改让建议的可执行性达到满分，数据忠实度却仍很差，团队因此知道下一步要解决什么。稳定达到要求的能力随后变成发布前回归检查，线上新失败再补回数据集。换模型时也要分别看质量、成本和具体行为：更一致的建议如果几乎全是“持有”，未必符合产品需要。