为什么AI芯片不能只比参数？模型、软件和硬件要一起设计

导读

选 AI 芯片时，只比较算力、带宽或每小时价格为什么不够？SemiAnalysis 创始人 Dylan Patel 认为，实际效果取决于模型结构、软件调度、芯片和网络怎样配合，以及用户愿意为等待付多少钱。团队的 InferenceX 每天重跑模型，扫描不同批量和延迟配置，画出吞吐量与交互速度之间的取舍：同一块硬件服务更多用户可以降低成本，单人快速响应则可能更贵。Patel 以 DeepSeek 为例，指出专家结构和通信方式针对特定 GPU 优化后，直接搬到另一种芯片未必同样高效；反过来，为另一种硬件设计的模型也可能在那里更合适。协同设计可能带来更大收益，却把设计周期和多层技术风险绑在一起，模型路线一变，今天的最优硬件也可能不再适用。