Pytorchで用意されている分散処理機能(Distributed Data Parallel)の中では特にbackward時に勾配の計算と、その勾配の共有（集団通信）が頻繁に行われます。Pytorchではそのデバッグと性能計測用にその計算と通信の開始/終了のタイミングの計測が行われてい…

導入 手法 愚直にやるなら... pickleによる複製作成 まとめ 導入 下図のような依存関係のあるDogとCatのオブジェクトがあるとします。Dogのcat属性にはCatクラスのオブジェクトが格納されていて、Catのdog属性にはDogクラスのオブジェクトが格納されていると…

CUDAのバージョンを上げたときの手順を記録しておきます。 バージョンアップの方法を検索するとさまざまな方法が出てきますが、結局公式の方法が最もストレートでした。 環境: Ubuntu v18.04 上記のリンクから環境に合わせて選択。私の場合は Operating Syst…

@article{zheng2022alpa, title={Alpa: Automating Inter-and Intra-Operator Parallelism for Distributed Deep Learning}, author={Zheng, Lianmin and Li, Zhuohan and Zhang, Hao and Zhuang, Yonghao and Chen, Zhifeng and Huang, Yanping and Wang, Y…