返回博客列表

Untitled

2026-02-04 AINotes/30.PyTorch/06.并行计算 Hongwei Zhao

参考资料：

  1. Pytorch 并行训练（DP， DDP）的原理和应用
  2. Pytorch 中单机多卡分布式训练
  3. Training Neural Nets on Larger Batches: Practical Tips for 1-GPU, Multi-GPU & Distributed setups
  4. DISTRIBUTEDDATAPARALLEL
  5. Pytorch 分布式训练（DP/DDP）
  6. DISTRIBUTED COMMUNICATION PACKAGE - TORCH.DISTRIBUTED
  7. pytorch 多 gpu 并行训练
  8. PyTorch 源码解读之 DP & DDP：模型并行和分布式训练解析

评论