用过去的网页测试今天的 Agent：Exa Snapshot 怎样检查预测有没有偷看答案

导读

Agent 预测收购时拿了高分，怎样确认它没搜到后来公布的答案？Exa 的 Ryan Ahern 用历史网页约束搜索入口，让开发者把系统放回公告前一天、一周或一个月，重做当时的判断，再与后来结果比较。Snapshot 保存抓取时的页面版本，既能找已知网址的旧内容，也能按过去时点重做检索。开发者还可以让 Agent 扫描历史媒体，整理线索作为原有模型的新输入，再比较有无这些信息时的判断。但时间限制只处理一种泄漏：工作坊里一组高分特征竟直接询问公司名，说明系统可能迎合已有样本。Ryan 因此建议把候选条件放到未参与调试的留出集检查，同时留意其他数据入口的时间范围。这样团队可以多次调整搜索和特征，观察它们对不同历史案例的判断，而不必每次等待新的真实事件发生。