多等半秒，几乎所有指标都掉了；Tolan 为什么又主动增加 60 毫秒

导读

语音陪伴产品怎样反应迅速，又不抢用户的话？Tolan 工程师 Paula Dozsa 介绍，团队把一次回复拆成话轮结束判断、转写、模型生成、语音合成和播放，分别测量延迟；为减少用户尚未说完时被截断，他们在话轮判断中增加少量等待。系统还按对话语气和风险路由：普通闲聊可交给较小模型，初次交流和强烈情绪场景使用更强模型。长期记忆并不保存整段聊天进每次请求，而是提取事实、偏好和情绪，按当前话题检索，再定期合并重复与冲突内容。用户临时转换话题时，系统会重新组装上下文，避免把上一轮的情绪强加给当前问题。角色卡保持稳定性格，语气指导则随场景变化。开发团队也把实施、代码审查、持续集成跟进和线上故障分诊交给不同 Agent，最后由人审查结果。