78%说想要，实际只有10%—15%使用：Bumble的AI照片反馈为什么不能只看A/B测试

导读

一个 AI 功能让用户更活跃，就值得继续投入吗？Bumble 的照片反馈团队发现，还要一起验证用户是否真的会用、建议是否合适，以及成本能否支撑扩大使用。团队先把需要主动寻找的独立入口，移到上传照片和匹配不顺的时刻，采用率随之提高。接着，原方案费用过高，换便宜模型又让准确率和效果下降，于是重新比较模型、提示词与成本，寻找仍能取得好结果的方案。总体行为指标之外，他们还读用户实际收到的建议：人明明在笑，AI 却劝人多笑一点；对肤色、身高等不应改变的特征，也要明确限制反馈。产品经理 Supriya Subudhi 的经历说明，测试验证的是当时具体实现的效果，模型或入口改变以后，都需要重新确认。产品团队还得检查不同群体的体验，并尽早考虑目标市场的发布限制，才能判断一项有效的试验是否适合继续扩大。