AI 安全怎样从争论回到工程：证明代码、追着失败跑，再把事故讲清楚

导读

面对 AI 安全风险，团队能做哪些可以核查的工程工作？两位斯坦福研究者主张将明确性质的形式证明、主动寻找罕见失败和部署后的多层防护结合起来。Clark Barrett 展示了用 Agent 生成并验证代码的流程：人先确认规格，证明器再逐项检查代码是否满足它；但证明依赖规格和假设，人仍要确认它们符合真实意图。Mykel Kochenderfer 借鉴航空防撞系统，让测试集中搜索危险场景，而不是等待极少发生的事故；若要估计实际概率，还需可信模拟和统计校正，且测试可能遗漏其他失败模式。两人还借航空业强调独立调查和事故分享：安全证书应能被他人复核，部署后也要持续监控。每道防线都有缺口，因此不能用单一证明或测试声称系统绝对安全；验证模型周围的代码、权限和接口，比证明大型模型永远不会出错更具体。