模型能力突然跳一级时，Anthropic 怎样把研究变成产品？

导读

模型能力不断变化，产品团队怎样发现新机会并把用户反馈送回研究？Anthropic 的 Dianne Penn 介绍，小团队会亲手试研究版模型，把有趣能力快速做成原型；暂时跑不通的方向可以先停下，等新模型出现再测试。用户抱怨“模型不听指令”时，团队继续追查具体轨迹：它是否没调用工具、读错资料，还是格式不符。Claude 早期的一批反馈最终收敛到 JSON 输出问题，团队整理提示、实际回答和理想结果，形成每版模型都能运行的评测。Dianne 将评测视为连接产品需求与研究工作的工具，同时保留 PRD 来协调愿景、安全和发布。她也要求产品负责人亲自构建、接触用户，保持对模型能力变化和实际交付质量的判断。