10 万颗加速器里每小时都可能有东西坏掉，Google 为什么不再只看 FLOPS

导读

加速器越多，峰值算力越不能直接代表模型训练有多快：同步等待、故障恢复和数据搬运都会消耗时间。Google 的 Amin Vahdat 更关注实际完成的有效计算，并把芯片、网络、软件和电力作为同一系统来规划。在十万颗加速器的集群中，故障频率可能高到每天甚至每小时多次，系统需要定位问题、恢复资源并从检查点继续；改进调度和恢复流程也可能提高有效进度。专用芯片则要预测多年后的工作负载，把稳定的运算放进硬件，同时为变化保留灵活性；数据中心还须提前与公用事业公司协调供电容量和建设时间。Amin 提到有效 token 能力约每六个月翻倍是团队目标，软件和模型优化也有贡献，不能把它理解成单靠芯片实现的固定规律。