语音 Agent 被打断以后，怎样还能把事情办对？
语音 Agent 被打断以后，怎样既接得自然，又把后台事情办对？
延迟优化
16 篇文章
全部文章
桥水的一亿份文档，AI 怎样既不越权又找得到？
企业 AI 要在上亿份资料中找依据，怎样既不泄露秘密，又不漏掉用户有权查看的内容？
每月 3.2 千万亿个 Token，推理系统怎么跟上？
长上下文 Agent 和普通聊天请求同时涌入时，推理系统怎样避免一个大请求拖慢所有人？
语音 Agent 为什么不能只追求更快？LiveKit 把 600 毫秒当成一笔预算
语音 Agent 回复快，却仍可能在用户插话或改变主意时乱掉。
模型一样，为什么换一家推理服务商，游戏要多等一分钟？
同一个模型接入不同推理服务商，编码 Agent 的完整任务耗时仍可能相差很大。
Agent 还没听完，EliseAI 已经开始写回答：怎样让慢而聪明的模型听起来很实时
较慢但能力更强的模型，怎样用于需要即时回应的语音 Agent？
你只是说了声“对”，语音 Agent 为什么立刻闭嘴：全双工不只是降低延迟
用户在语音 Agent 说话时附和一声“对”，系统为什么会突然停下？
电话号码里混进一个字母 E，Agent 为什么不能直接猜成 3：Plivo 总结的五类上线故障
语音 Agent 收集电话号码时，转录结果混入字母 E，怎样避免模型猜成数字后发错短信？
vLLM 配置怎么选：Runpod 用并发测试比较速度，也把冷启动算进去
怎样知道一组推理配置适合自己的任务？
Inception 想让语言模型同时生成多枚 token，为什么还得自己重做整套推理服务
语音 Agent 要及时回应用户，语言模型逐个生成 token 的方式能否换得更快？
一张 Blackwell、两个 vLLM 服务：推测解码什么时候能快 1.6 倍？
推测解码能让语言模型更快生成，什么时候值得开启？
Jev 不跟你聊天：它把语音、数据和 Agent 工作拆成一串小决定
并非每个 AI 任务都需要生成一段回答：语音指令可能只需判断对象、动作和何时执行。