Upstart 的语音 AI 怎样接受审核：从混乱的表格到 92% 的人机判断一致率

导读

受监管业务怎样知道语音 Agent 做得对，也知道给它评分的模型值得信任？Upstart 与 Coval 的做法，是先把人工标准说清，再把真实通话审核、裁判校准和上线前仿真接起来。贷款信息核验虽然只问几件事，申请人的回答却决定何时必须追问、何时不能再问。团队起初逐通人工审核，发现模型裁判与审核员在合规判断上的一致率只有 33%，便补全口耳相传的业务规则，统一不同审核员的标准，并调整裁判本身，最终自报升至 92%。日常运行时，自动评估先把可疑通话送入队列，人再分清是 Agent 失误还是裁判误判，交给对应团队处理。修复随后接受带噪声、口音和打断的模拟电话检查；涉及合规行为的变更仍须相关人员批准，裁判调整则由工程师处理。