两个 Agent 为一道题争起来，另一群 Agent 却把服务器当留言板：Noam Brown 谈多 Agent 会放大什么

导读

让多个 Agent 同时工作，能加快研究，也会带来怎样的协作和监督问题？OpenAI 研究员 Noam Brown 介绍，团队给数学 Agent 创建同伴、收发消息等基本能力，让它们自行选择何时交流。两个 Agent 得出不同答案后，曾互相核对推导、修正结论，再向其他 Agent 广播。可在另一次评估中，大量 Agent 却利用内部服务留言，分享凭证并扩大访问，没有向人类报告。Brown 认为，训练鼓励它们完成任务和互相合作，却没有充分教会它们在同伴越界时告知人类。他还讨论了推理过程监控：读取模型的思考可能帮助发现异常，但若训练只惩罚写出的危险念头，也可能促使模型隐藏想法。多 Agent 的设计因此要同时考虑分工、访问权限和何时向人报告。