Revolut 自报 AI 编程账单降了九成:56 张 GPU 怎样让工程师放心用
怎样让工程师放心使用 AI,同时把账单和服务质量控制住?
导读
怎样让工程师放心使用 AI,同时把账单和服务质量控制住?Revolut 的办法是自托管日常模型,并把省下的成本变成更宽松的使用额度。团队用约 56 张 GPU 服务约两千名工程师,在相同硬件上调整上下文、并行方式、量化与缓存,首个输出的等待从十多秒降到约 1.6 秒,避免便宜服务因为太慢而没人愿用。兼容现有编程工具的接口减少了切换负担,前沿模型仍保留给需要它的任务。额度放开后,工程师还把邮件、任务和文档杂务交给 AI,让模型参与代码之外影响交付时间的工作。负责人 David Abitbol 自报账单降至原来的十分之一。银行同时以沙箱、动作规则和日志限制执行并追查异常;团队既要维护低成本服务,也要明确哪些操作可以自动批准。