模型一样，为什么换一家推理服务商，游戏要多等一分钟？

导读

同一个模型接入不同推理服务商，编码 Agent 的完整任务耗时仍可能相差很大。FriendliAI 工程师 Yunmo Koo 将差异归因于缓存、解码和可靠性等服务层工作，并建议团队用自己的真实负载比较。Agent 多次发送相同上下文时，缓存感知路由可把请求送到已有前缀的副本；分层管理则在显存、内存和存储之间移动缓存，让常用内容更容易复用。生成阶段可以用推测解码提前提出候选，再由目标模型验证，但不同方法要在速度和额外计算之间取舍。多轮任务还受超时、错误和重试影响，因此不能只看最快一次的延迟。Yunmo 演示了同一模型和编码 Agent 在两家服务商上制作游戏，完成时间相差一分钟以上；他建议同时比较完整任务耗时、错误率、费用和输出质量。