40 亿参数模型如何用不到 500 美元的训练，胜过 2350 亿参数模型？

导读

金融 Agent 答错，不一定是模型不懂金融，也可能是它编造表名、查询过宽或遇错后重复同一动作。Snorkel AI 团队在可验证的金融数据库环境中训练工具使用，让一个 40 亿参数模型在特定测试上超过更大的同系列模型。团队从上市公司年报整理约 6900 张表，生成并经程序、独立 Agent 和专家检查问答，再按公司隔离训练集与测试集。小模型在并发环境中练习查表，奖励只看最终答案是否正确；训练和裁判费用合计不到 500 美元。在 290 道专家审核的留出题上，它首次作答通过率接近 60%，对照的 2350 亿参数模型为 51%。团队还比较单表、多表和课程训练，发现简单单表训练与二元奖励在这套实验中效果最好，说明练稳工具使用是这项任务的重点。