Gemini 团队怎样决定模型该学什么：先做原型，再用 20 条提示词把问题说清

导读

一款模型同时服务搜索、邮件、编程和外部开发者，团队怎样决定下一步改什么？Gemini 产品负责人 Tulsee Doshi 要求产品团队先用现有模型做原型，收集失败样本，再区分问题来自提示和部署，还是模型能力本身。需要研究人员处理的问题要变成可重复评测；起步可以先写 20 条提示词，明确每条什么算成功、什么算失败，再逐渐扩充数据。新模型通过基本检查后，团队把它放进实际产品，观察用户是否尝试更复杂任务或愿意回来，同时听取长期使用者的细致反馈。评测也可以把多个产品中相似的失败整理到一起，例如回答标题层级和表格选择的问题。团队还保留一些目前还差一点的原型，每逢模型更新就重新测试。内部产品可以快速试验，外部 API 客户则需要清楚的版本和稳定预期。