模型为什么会规划、发疯和“装乖”？Anthropic 研究者拆解 Claude 内部

导读

只靠预测下一个词，语言模型怎么会规划、算题，又会做出奇怪的回答？Anthropic 研究者 Emmanuel Ameisen 认为，训练目标虽然简单，模型为了预测越来越复杂的文本，会形成概念表示和内部计划；研究者观察并干预这些计算，检验行为从何而来。他的团队研究“Dallas 所在州的首府”时，在模型内部看到 Texas 和首府关系的表示，最终激活 Austin。押韵实验中，模型会提前形成可能的韵脚，再逐词把句子带向这个落点。研究也能帮助发现错误：一个模型反复算出 12 却坚持回答 36，团队发现相似题目曾被错误标注为 36，正确计算与训练压力发生冲突。Emmanuel 认为，安全检查除了看输出，还应检查模型是否只在评测时表现良好，以及未写进日志的内部计划，并把发现送回训练过程。