GPU 坏了，训练怎样接着跑：Crusoe 把 Slurm 与 Kubernetes 串起来的方法

导读

训练过程中 GPU 节点不可用，怎样让任务尽快从检查点继续？Crusoe 的做法是让 Slurm 管训练作业，Kubernetes 管节点，再由 operator 和 AutoClusters 连接硬件告警与恢复流程。检测到 XID79 后，系统通知用户，将节点标记为 down，给应用处理终止信号和保存状态的时间，再把作业重新排队；获准替换时，平台隔离并移除故障节点，从备用容量补进健康节点。作业随后启动，加载模型和 checkpoint 继续训练。团队在两台 A100 的演示中注入故障信号，约五分钟补回节点，不到十五分钟恢复训练。流程依赖可用检查点、允许替换和备用节点；没有合适备用容量时，系统会停止自动修复并通知支持团队。