AutoResearch 不是把 Agent 放出去跑：Parameter Golf 里，评测和人类转向怎样决定结果

导读

自动研究 Agent 可以不停写代码和运行实验，但长时间搜索仍可能停在原地。Weco 的 Parameter Golf 经验说明，评测设计和人把新线索送回循环，同样影响研究进展。团队的 AIDE 系统读取论文、代码和实验历史，提出修改、运行训练并依据分数决定下一步；实验树保留每次改动、结果和分支，让人能检查原因、提出新方向或给某个节点追加预算。评测需要快速、低噪声且难以钻空子，并设置超时，避免一次坏实验卡住整轮搜索。AIDE 曾连续五天几乎没有进展，合入社区研究者提出的新 tokenizer 后，八小时内结合先前组件取得明显跃升。团队报告它有七个创纪录提交被合并。多目标任务还需要人决定哪些指标是约束、哪些用于评分，Agent 才能据此比较下一步尝试。