便宜模型和生产模型有 18% 分歧，先别急着淘汰：OutRival 如何验证 token 优化

导读

提示词缩短或换成便宜模型后，怎样确认省下的是成本而不是质量？OutRival 的 Alvin Pane 建议先测量生产系统自身的波动，再用同一批真实请求比较候选版本，并人工判断分歧。团队曾因新旧模型有 18% 的答案不同而淘汰候选，后来发现原生产模型重复运行也有约 7% 的答案不一致。为了建立基线，他建议记录模型调用、重试、延迟和成本，再调整缓存、搜索更短的提示词或尝试任务分流。影子评估同时比较两个版本各自的稳定性和彼此差异，把回归、改进与合理分歧区分开。决定上线时，除了看净改进的置信区间，还要单独检查重要类别，避免平均数掩盖损失。演示中提示词缩短 51% 是合成案例；小模型在实际实验中多次未达发布标准，便宜本身不能代替质量验证。