Pytorchにおける分散処理に関する情報のまとめ
- Writing Distributed Applications with PyTorch — PyTorch Tutorials 2.6.0+cu124 documentation
- UCC-backend（ProcessGroupUCC）について
- ProcessGroupへの追加。Feb, 2022 [RFC] UCC integration in ProcessGroupNCCL · Issue #70654 · pytorch/pytorch · GitHub
- reduce_scatter_baseの補充。Oct, 2024 [c10d][UCC] Add `_reduce_scatter_base` to `c10d::ProcessGroupUCC` by samnordmann · Pull Request #138021 · pytorch/pytorch · GitHub
- FSDPはMPIサポートしていない
