开帖记录分布式AI系统设计学习的路线和知识点(争取每日更新)

LeoPad 发表于 2025-11-26 10:47
对这方面感兴趣，请问楼主有什么学习资料分享么？

麻烦审核大大们通过一下.谢谢. 好像回复带了URL都看不见呢，奇怪

今天感恩节，休息一天，明天继续更新。感谢大家的关注.

旅行回来继续

当单个GPU可以容纳整个模型的时候，简单起见，采用DDP

分布式通讯后端可以采用：

• nccl 多GPU）
• gloo (多CPU或者单GPU模拟多GPU，简单模型CPU还更快， 模型稍大就算多GPU模拟，都会更快)

容易出现的问题是straggler problem,就是在backward的时候allreduce多个GPU需要同步。一个慢拖累整个都慢。

最常见出错原因是 DataLoader 某个 rank 变慢. 上个月遇到一次， GPU7 的数据比别的 GPU 重、I/O 慢、worker 不均衡.

如何排查：
• 打印每个 rank 的 data loading time
• nvidia-smi 发现 GPU 利用率差异
• 打 log 看 DataLoader per-step 时间

解决：
• num_workers 加大
• persistent_workers=True
• prefetch_factor 增大
• dataset 放 SSD
• 更换为 WebDataset 或 mmap dataset

还有有时候NVLINK出问题，还有有次一个GPU突然挂了




测试结果

Model Information:
  Total parameters: 5,248,001 (5.25M)
  Trainable parameters: 5,248,001
  Input dimension: 512
  Dataset size: 50,000

Gloo backend + CPU mode： 63.83s; Gloo backend + GPU mode： 17.33s

支持支持

想问下大佬，没有ai的经验，只学这些能找到工作么？

在看，楼主加油

谢谢分享，mocksphere上那个组链接（3BK6FLIQ）不能用呢： "group not found".

学这些有什么用吗？

请问楼主是在哪学呢？能否分享一下学习的资源？感谢，已加米

推荐一本朋友写的书

Distributed AI Systems: A practical guide to building scalable training, inference, and serving systems for production AI

朋友同组的同事现在做类似的工作，包裹据说4年2千多万。

https://distaisys.com
https://www.amazon.com/dp/1807301710/

祝大家好运，拿了大包别忘了给本贴点赞

补充内容 (2026-08-29 05:57 +08:00):
USD, not RMB