算力越紧，硬件越碎：Modular 为什么要从 Mojo 一路重做云服务？

导读

AI 硬件越来越多，模型团队怎样避免为每种芯片重复处理底层差异？Modular 的方案是用一套从编程语言到推理引擎和云部署的工具栈，把硬件选择留在底层，同时保留调优空间。Mojo 用较接近 Python 的写法开发可跨设备运行的程序，MAX 负责模型推理与优化，云层再帮助团队按实际负载部署和比较配置。预填充和生成阶段对资源的需求不同，因此系统允许把它们放在不同硬件上，而不是要求所有机器相同。Modular 展示了多组性能对比，并开放大量代码供开发者在自己的机器上运行；讲者 Abdul Dakkak 也提醒，比较速度倍数时还要计算硬件价格，因为速度更高不一定意味着总账单更低。公司还展示约 0.3 秒生成图像，说明较低延迟能够支持实时交互这样的新体验。