MiniMax M3 怎么把百万上下文和原生多模态放进同一个模型？

导读

长上下文和视觉能力放进同一个模型时，算法收益还要经得起显存读取、训练稳定性和文本质量的检验。MiniMax 的 Olive Song 介绍，团队为 M3 分别调整稀疏注意力和多模态训练顺序。长文本处理中，轻量索引分支先筛选位置，主分支只读取选中的内容；团队又让不同注意力组保留各自的选择，并以数据块代替单个 token 筛选，减轻 GPU 读取和排序开销。视觉训练方面，模型收敛后再加图像数据曾损害文本能力，中途加入又对参数敏感；团队最终从训练一开始就混合文本和视觉，称相同文本预算下文本能力几乎未受损。视频编码允许画面跨帧交互，但覆盖更多帧会增加系统和负载均衡的难度，团队权衡性能与效率后选择了四帧。