语音 Agent 为什么不能只追求更快？LiveKit 把 600 毫秒当成一笔预算

导读

语音 Agent 回复快，却仍可能在用户插话或改变主意时乱掉。LiveKit 的 Jesse Hall 认为，延迟应作为整段对话共享的预算，团队要同时安排听取、轮次判断、工具调用和回答，而不是只挑首 token 最快的模型。他建议测量用户真正听到第一段声音的时间：有些语音合成服务先返回静音，仪表盘上的首字节并不等于听到回答。工具查询可能要几十秒，LiveKit 让 Agent 先说明正在处理，再继续听用户说话，后台任务同时运行。酒店预订演示中，来电者改日期后，Agent 保留人数和房型等信息，只更新日期与价格；演示部分等待经过加速。团队还用能打断、含糊表达和改口的模拟来电者，检查真实后端是否收到正确预订。Hall 将约 600 毫秒作为自然交互目标，但强调模型组合要在自己的业务场景中评测。