12 次 GPU 实验跑完，最好结果从 5.831 变成 5.833：为什么 ARIA 没有创造新纪录

导读

研究 Agent 能自动启动多次 GPU 实验，但运行次数增加不代表研究结果一定改善。Weights & Biases 的 ARIA 将提出候选、提交训练、记录版本和比较指标连成流程，让研究者看到有效结果和负结果。现场十二次超参数实验由独立作业系统排队执行，最好结果为 5.833，未超过此前更好的 5.831；代码、配置和指标仍可用于判断下一步。团队还从生产轨迹中找行为问题，把确认过的案例写成可重复评测，分别检查分析正确性、价值和工具调用成本。例如比较两次训练时，一项评分检查分析是否正确，另一项判断洞见是否有用，规则则限制调用次数。候选版本进入共享看板后，由团队比较结果并决定是否发布，版本和相关实验记录留在系统中。