给 Agent 加了 SQL 工具以后，怎么知道它真的会用？Phoenix 团队的 Harbor 测试

导读

给 Agent 增加工具或修改提示词，怎样确认它真的更会做事，而非只是换了一条路径？Phoenix 团队用 Harbor 把完整应用、固定数据、自然语言任务和结果检查脚本装进可重复运行的环境。先让已知解法通过，排除环境或检查本身损坏，再让 Agent 多次独立执行，核对数据库与最终产物，不只听它声称完成。添加只读 SQL 后，Agent 仍会分页取数据；团队提醒聚合问题优先用 SQL，随后在同一批任务上比较，看到工具次数减少、正确性保持。再回到逐题轨迹，确认某次运行确实由 GraphQL 换成直接查询。长期回归尽量只看用户结果，专门优化工具选择时才检查路径，避免内部改名就让所有测试失效。对不同目标采用不同检查方式，团队才能既发现效率变化，又保留稳定的结果检验。