GPU已经算完，为什么还要等一条小消息？Homa想把AI集群的调度权交给接收端

导读

GPU 完成计算后，为什么还会等一条很短的消息？John Ousterhout 指出，多台机器同时向一个接收端发送数据时，大消息会堵住最后一跳，协调消息也要排队，拖慢下一轮计算。Homa 以完整 RPC 消息为单位，让接收端知道每条消息的长度，用 GRANT 控制发送节奏，并优先处理剩余数据较少的消息；交换机优先级队列则让新来的短消息越过已排队的长消息。这样调度可以贴近实际拥塞的位置。演讲展示的混合消息测试中，短消息尾延迟明显下降。要在集群里采用，团队还需适配应用或 RPC 框架、加载内核模块、配置交换机，并检查与现有 TCP 流量共存时的表现。先区分控制消息、缓存查询和大传输，才能判断等待是否位于计算的关键路径。