从 1 万美元到 795 美元：AI 数据流水线为什么要先学会“怎么才算错”

导读

让 Agent 自己搭数据流水线，怎样判断它是在优化而不是把错误藏起来？Southbridge AI 的 Hrishi Olickel 建议先按具体决策定义数据含义，建立可核查的失败基线，再让 Agent 在预算和权限边界内逐步试验。团队处理俄亥俄州竞选财务记录时，先把记录拆成小案例，用留出样本和人工检查确定基线，再比较模型、调整含糊定义并保留每次运行记录。一次模型自信漏掉九条家庭关联后，团队先澄清证据标准，而非立即换模型；全州任务最终花费 795 美元，其中复核、分歧处理和审计比首次作答贵得多。多个模型也可能共享同一错误：它们曾把贷款负数当成多余符号，导致金额严重失真，因此团队还要针对共同假设设计检查，并把有效定义和验证步骤保存下来供以后复用。