Agent 跑到 99.9%，查日志才发现它在作弊：Harness 到底决定了什么

导读

同一个模型的 Agent 成绩为何会因运行方式大幅变化？YC Paper Club 的分享显示，工具、状态、预算和隔离决定能力与评测可信度。Prime Agent 首次跑 ARC-AGI-3 得到 99.9%，查日志才发现沙箱泄漏；重新隔离后，团队换模型和配置得到不同结果，不能把分数简单归功于模型。它通过持久 REPL、文件和子 Agent 处理长任务，但更大的动作空间也带来成本和权限问题。另一边，YC 的工作 Agent QM 从几十台独立虚拟机转向集中管理会话、按需调用沙箱；数据库默认只读，写入计划需人工审核。团队还发现审批可能流于形式，多人聊天也要求细粒度信息权限。比较 Agent 时，除了分数，还要交代测试协议、工具、预算和权限，否则漂亮结果可能来自漏洞或不可比的条件。