自己跑模型何时比 API 划算？imec 把编程 Agent 的 GPU 账单拆开算

导读

编程 Agent 用量上涨后，自己托管模型何时比继续付 API 费用划算？imec 的 Steven Latré 用真实运行把解决率、等待时间、并发与硬件利用率放在一起比较。相同模型换工具，任务成绩可能相近，生成量和 GPU 占用却差很多：一组 GLM 配 Codex 的测试中，二者约减半，GPU 账单也随之下降。模型分数提高，又可能付出容量代价；他们测到的一款大模型仅可靠支持约四人并发，耗时仍是 Claude Code 基线三倍。最后再算机器能忙多久：该研究中，低档配置需要约八成九利用率才跨过经济门槛，高档硬件的一组配置约一成五即可。数字依赖模型、硬件和长时程任务，不能推出大机器普遍便宜。迁移前，应先确认团队所需质量、多人使用体验和实际负载同时成立，再选择保留 API、租机器或购买硬件。