没有现成基准，怎么测合同 Agent？加航团队先把答案放进测试里

导读

业务没有公开基准、专家又没空随时评分，怎样持续检查 Agent 是否变好？加航的 Nathanael Weill 采用先确定答案、再构造输入的办法，把有限专业判断变成可重复测试。合同项目缺少原始版与签署版配对，团队就从已知规则生成违规条款和合同，用模板组合合规与违规取值，再删掉已签合同中的条款，检查助手能否发现缺失。完整合同也混在测试里，防止系统靠处处报警过关；改名字、地址和条款顺序，再看风险标记是否无故变化。团队报告做出二百七十五项可运行测试，某类反馈从四周变为五分钟，但这指评估返回时间，非真实审核总时长。删条款测试仍漏掉大部分目标，反而明确了需改进之处。专家继续用真实反馈修正测试，代码先判断有明确参照的部分；测试让开发更快，却不足以单独批准产品上线。