模型准确率一分没涨，用户却少受了四成罪：Roku 怎样决定 Agent 应该执行、确认还是停下

导读

模型不确定时，直接执行、先确认还是停止，会给用户带来不同代价。Roku 的 Amit Desai 建议在准确率之外，按错误发生后的恢复成本选择动作，而不是凭直觉设一个统一阈值。他用一千条假想点歌请求演示，模型始终有 79% 的识别准确率：播错歌需要用户叫停并重说，成本高于系统直接请人重说。按照示例权重计算，优化停止阈值后，平均成本从 2.100 降到约 1.274；再加入确认，降到 1.260。收益最大的变化是允许停止，确认并非越多越好。换到电视，屏幕和遥控器会降低确认成本，打断当前页面却可能提高错误执行成本，因此不能照搬音箱阈值。这些数字是教学设定，不是线上结果；真实系统还要校准置信度，并为难以撤销的动作设置权限和审批。