用户没带保单号，身边又有车经过：Google 怎样让语音 Agent 决定该听谁

导读

语音 Agent 在嘈杂环境里怎样听对人、接住任务，又保持自然对话？Google DeepMind 的 Valeria Wu Fon 和 Tom Ouyang 介绍，团队让模型在训练中接触交错的音频、文字和视频，使它能组合语音、画面与工具调用。道路救援示例里，用户没有保单号，Agent 改问车牌和邮编；车辆经过时，它识别用户提到的危险并提醒远离道路，再继续核对车辆。实时翻译则要在多听一些上下文和尽早播出译文之间取舍，不同语言的语序会影响等待时间。团队把对话流畅度、完成任务的智能和多模态能力分开考虑：简单确认需要快速回应，查询账户或调用工具可能需要更多处理时间；不同应用还要分别设计权限和验收方式。