每月 3.2 千万亿个 Token，推理系统怎么跟上？

导读

长上下文 Agent 和普通聊天请求同时涌入时，推理系统怎样避免一个大请求拖慢所有人？Cerebras 与 Gimlet Labs 的讲者认为，关键是辨认计算、内存或通信上的瓶颈，再按任务拆分和调度资源。长输入的预填充会占住流水线，系统可以把它切成小块，让短请求和生成任务穿插运行；连续批处理提高设备利用率，却增加缓存压力，因此还需分页和复用已有缓存。由于预填充主要依赖计算、逐词生成更依赖内存带宽，两者可以放在分别扩缩的机器池，或交给不同类型的硬件。例如长文档摘要输入长、输出短，就可以给预填充配置更多资源。推测解码则让小模型先猜一批 token，再由完整模型验证，减少完整模型运行次数。跨机器传输也有成本，拆分方式要随模型、请求形态和延迟目标调整。