推理成本为什么会超过训练：从重复读取代码库，到同一个模型的质量差异

导读

模型训练完成以后，怎样让大量用户反复使用它，又保持质量、速度和可承担的成本？YC 的推理讨论把优化放到真实请求的整条路径。编程 Agent 多轮读取同一代码库时，路由要兼顾排队与缓存，SGLang 用共享前缀及分层存储减少重算，再协调不同模型层的状态，确保缓存真的能续用。压低权重精度能节省部署资源，Together 仍要检查工具调用、游戏和历史失败，避免更快却做不成任务。Ollama 则提醒，同名模型换服务商、硬件或量化版本，表现也可能变化，需要自己的工作和持续信号来核对。编译器还可提前搜索更快程序，把一次优化摊到长期运行。标题里的十二倍依赖使用年限等假设，具体收益也随负载改变；采购与优化应比较在既定质量和等待要求下交付了多少可用结果，而非只看模型名与标价。