Jerry 曾预测 2025 年会有 AGI；现在他想弄清模型为什么离不开人

导读

模型能写代码后，为什么研究者仍要不断提供新任务和背景？Core Automation 的 Jerry Tworek 和 Rohan Anil 认为，当前系统在训练结束后难以持续吸收新经验：上下文会被压缩，反复微调又可能损伤旧能力。他们希望探索支持长期学习的新架构，同时让架构研究与底层 GPU 程序开发更紧密地配合。Rohan 提出，模型常靠生成更长的推理文本增加计算，却必须逐个生成 token；团队想研究能否以更高效的方式进行内部计算。他们先从自动生成和优化 GPU kernel 入手，缩短新想法变成可运行实验的时间。研究者仍需选择方向、判断失败并比较结果，Agent 则协助写代码、收集数据和运行实验。