推理成本为什么会超过训练：从重复读取代码库，到同一个模型的质量差异
模型训练完成以后，怎样让大量用户反复使用它，又保持质量、速度和可承担的成本？
推理优化
26 篇文章
全部文章
vLLM 配置怎么选：Runpod 用并发测试比较速度，也把冷启动算进去
怎样知道一组推理配置适合自己的任务？
AI会写GPU Kernel之后，真正难的是评测、通信和系统拆分
AI 能快速生成 GPU kernel 后，怎样判断它真的更快，又该优化系统的哪一层？
AI模型两周一变，芯片要用三年以上：Fractile怎样押注下一代推理
AI 模型更新很快，芯片从设计到部署却需要多年，还要适应之后的模型变化。
不再只向闭源模型“租用智能”：Fireworks AI 怎样把训练、部署和反馈接成循环
把应用从闭源模型切到开源模型，成本可能降低，质量和维护工作却不会自动解决。
MiniMax M3 怎么把百万上下文和原生多模态放进同一个模型？
长上下文和视觉能力放进同一个模型时，算法收益还要经得起显存读取、训练稳定性和文本质量的检验。
LFM2 里没有 302 个神经元：Liquid AI 怎样把架构变成硬件问题
模型放进汽车或手机后，怎样同时满足速度、内存和任务质量？
Inception 想让语言模型同时生成多枚 token，为什么还得自己重做整套推理服务
语音 Agent 要及时回应用户，语言模型逐个生成 token 的方式能否换得更快？
生成12万亿token之前，DatologyAI先解决了元数据、坏GPU和跨集群调度
合成数据任务扩大到万亿 token 时，GPU 空闲未必是模型太慢，也可能在等元数据、资源调度或故障恢复。
一张 Blackwell、两个 vLLM 服务：推测解码什么时候能快 1.6 倍？
推测解码能让语言模型更快生成，什么时候值得开启？
三分钟视频压成十个 Token，Meta 为什么说推荐器比聊天机器人便宜 100 倍？
推荐模型要理解更长的观看历史，却不能把每条视频的全部画面和声音都放进上下文。
找不到一只小鸟时，模型该不该再看一遍？Perceptron怎样把VLM接到机器人上
机器人摄像头不断产生视频，但关键接触动作只占其中一小部分，真实遥操作数据又昂贵。