你只是说了声“对”，语音 Agent 为什么立刻闭嘴：全双工不只是降低延迟

导读

用户在语音 Agent 说话时附和一声“对”，系统为什么会突然停下？Gradium 联合创始人 Neil Zeghidour 认为，问题不只是响应速度：许多系统仍把对话分成一方说、一方听的互斥状态，无法自然处理附和、打断和声音重叠。Moshi 用音频编解码器压缩声音，再用两条并行流同时处理用户和系统的语音，让双方可以同时开口；它还需要学会何时接话、何时等待。为了兼顾自然对话与推理能力，Neil 讨论两条路线：继续训练一个端到端模型，或让较小的全双工模型负责听说，遇到知识、规划与工具任务时异步交给后台文本模型。后者可以替换后台模型，但前台需要判断何时委派，并处理用户改口后的结果，避免对话已经转向时继续采用旧答案。