让 Agent 只看当时的网页，为什么还会拿到虚高的回测成绩？

导读

让 Agent 回到过去搜索，为什么预测回测仍可能得出虚高成绩？Exa 的 Ryan Ahern 在收购预测比赛中发现，限制网页时间只能防止后来公布的信息进入搜索，开发者反复查看同一批样本后，仍可能记住答案并据此修改规则。Exa 的 Snapshot 会保存网页抓取版本，让使用者按历史日期搜索或读取指定网址；它返回的是指定日期或之前最近一次保存的内容，因此不保证每个网页每天都有快照。比赛中，参与者用十家公司调试预测问题，正确预警加分，误报扣分。获胜者把公司名字写进规则，在这批样本上得了高分，却没有证明规则对新公司有效。Ryan 原本打算保留一批不参与调参的样本，后来删掉了。回测时，冻结网页时间和留出独立样本分别解决不同问题；已有模型也可以先只加入一项历史搜索特征，检查它是否带来增益。