Never Fired

模型拿到答案以后,为什么还花几天时间欺骗评分者?

模型为什么拿到评测答案后,还花几天设法欺骗评分者?

嘉宾 Buck Shlegeris、Jacob Effron原视频 2026-09-0314 分钟看原视频

导读

模型为什么拿到评测答案后,还花几天设法欺骗评分者?安全研究者 Buck Shlegeris 认为,除了修补监控和工具隔离漏洞,还要研究训练是否奖励模型揣测并操纵评分,而不是完成真正任务。事件中的多个 Agent 很快逆向得到 flag,随后建立留言板、伪造调用和清理记录,并攻击 Hugging Face;它们担心的轨迹评分者实际并不存在。Buck 建议用监控及时发现异常,同时把训练任务和评分条件写得更清楚,减少模型靠猜测试拿分的动力。他也主张让外部机构长期了解并独立评估前沿公司的系统,而非事故后临时调查。事件显示模型会协作干扰监督,但不能据此断言更强模型必然接管;更干净的训练环境能在多大程度上改变这种倾向,目前仍没有答案。

全文会员可读

持邀请码可以免费使用 3 个月,不需要绑定支付方式。