开放模型跑起来以后，怎样把推理做成生产系统？

导读

开放模型已经能运行，怎样把它变成持续服务用户的推理系统？Nebius 的 Dylan Bristot 和 Sujee Maniyam 介绍一条从推理、生产数据整理、后训练到重新部署的循环：团队观察实际请求，用日志和数据调整模型，再检验新版本。服务端还要为模型选择合适的推理引擎，并按缓存位置路由请求，让相同前缀的状态有机会复用。推测解码让小模型先提出候选 token，大模型再验证；缓存不足时，可以把暂时不用的状态移出显存。平台也可将处理输入的 prefill 和生成输出的 decode 分配给不同 GPU。每种做法都涉及交换：缓存占内存，拆分要传状态，量化则需在运行效率和模型质量之间找到合适平衡。