一张 Blackwell、两个 vLLM 服务：推测解码什么时候能快 1.6 倍？

导读

推测解码能让语言模型更快生成，什么时候值得开启？Akamai 的 Sheilah Kirui 介绍，小型 draft 模型先猜测几枚 token，大型 target 模型再一次验证；猜中的部分可以一起通过，猜错的位置由大模型重新处理。结构化的 JSON 或代码约束较强，小模型更容易猜中；开放式创意写作的可选续写更多，接受率可能较低。她在单张 Blackwell GPU 上并排运行两套服务，演示中结构化任务的推测解码速度快了 1.6 倍。选择配置时还要考虑第二个模型占用的显存、批量和并发，以及输入输出长度：长输入、短回答主要耗在 prefill，即使 decode 加快，总耗时也未必出现同等幅度的变化。