生成12万亿token之前，DatologyAI先解决了元数据、坏GPU和跨集群调度

导读

合成数据任务扩大到万亿 token 时，GPU 空闲未必是模型太慢，也可能在等元数据、资源调度或故障恢复。DatologyAI 的 Bogdan Gaza 介绍，团队先把研究和产品流程统一，再逐一排查这些等待。数百万个存储分区若逐项请求元数据，团队估计需要九到十一天；改成每次批量列取约一千项后，他报告处理时间约为两小时。长任务遇到坏节点时，缩小分区并定期保存进度，可以减少重算；调度器则同时考虑 Ray head 的 CPU 和 worker 的 GPU，避免一边有资源、一边排不上。团队还针对批量推理测试参数，称单个案例吞吐提高约 40%。数据生成从客户的高质量文档开始，再让多个模型按不同提示改写；DatologyAI 报告为客户生成约 12 万亿 token。