Rich Sutton：LLM 上线后就不再学习，下一步要让它从经验里继续长

导读

AI 上线后怎样从新经验中继续学习，同时保留旧能力？Rich Sutton 和 Khurram Javed 认为，只在对话中添加上下文或保存记忆，还没有让模型把经验转成可持续更新的技能。Oak Lab 的研究聚焦持续学习和抽象：一方面为不同权重学习不同的更新步长，尽量减少新样本对无关旧知识的冲击；另一方面不断引入少量新单元，测试并保留有用特征，缓解网络逐渐失去学习能力的问题。他们也希望系统能从经验中形成高层动作和内部模型，再用它规划。两人并不排斥已有知识或模拟训练，而是希望 Agent 能根据真实反馈继续修正模型。由于学习规则本身也需要在训练中形成，团队认为这条路线可能需要从头训练新的基础模型。