Inception 想让语言模型同时生成多枚 token，为什么还得自己重做整套推理服务

导读

语音 Agent 要及时回应用户，语言模型逐个生成 token 的方式能否换得更快？Inception 联合创始人 Stefano Ermon 介绍 Mercury 的扩散路线：先得到粗糙结果，再用多轮去噪同时修正多个位置，让计算更适合 GPU 并行处理。模型仍使用 Transformer 和 attention，但现有推理系统主要服务逐 token 生成，因此团队另做推理引擎，并为监督微调和强化学习准备配套工具。对客户，Mercury 保留兼容 OpenAI 的文本接口及结构化输出，减少替换模型时对上层应用的改动。Ermon 称，语音 Agent 公司 OpenCall 用普通 GPU 获得接近原定制硬件的速度；团队以低延迟任务为切入点，同时继续研究扩散过程中的数据效率和生成控制。