Pythonプログラムを実行していると、メモリ使用量が突然増加することに気付いたことはありませんか？想定よりも大量のメモリが消費される状況に直面した場合、通常疑われるのはメモリリークです。 メモリリークは、不要になったにも関わらず削除されずに残っ…

この記事を参考にしました。sudo権限がないので自分のホームディレクトリにusrディレクトリを作成してそこで作業していtます。 cd ~/usr/source/ git clone https://github.com/git/git.git cd git/contrib/subtree/ vim Makefile # (詳細は下記) make make …

緩和問題について https://support.gurobi.com/hc/en-us/community/posts/360077249052-Root-relaxation-objective-value-is-different-from-the-objective-value-from-continuous-model 混合整数計画問題のルート緩和は、単純な緩和問題(変数をすべて連続に…

@article{zhang2015improved, title={An improved generalized conjugate residual squared (IGCRS2) algorithm suitable for distributed parallel computing}, author={Zhang, Li-Tao and Dong, Xiao-Na and Gu, Tong-Xiang and Zuo, Xian-Yu and Liu, Xin…

Pytorchで用意されている分散処理機能(Distributed Data Parallel)の中では特にbackward時に勾配の計算と、その勾配の共有（集団通信）が頻繁に行われます。Pytorchではそのデバッグと性能計測用にその計算と通信の開始/終了のタイミングの計測が行われてい…

導入 手法 愚直にやるなら... pickleによる複製作成 まとめ 導入 下図のような依存関係のあるDogとCatのオブジェクトがあるとします。Dogのcat属性にはCatクラスのオブジェクトが格納されていて、Catのdog属性にはDogクラスのオブジェクトが格納されていると…

CUDAのバージョンを上げたときの手順を記録しておきます。 バージョンアップの方法を検索するとさまざまな方法が出てきますが、結局公式の方法が最もストレートでした。 環境: Ubuntu v18.04 上記のリンクから環境に合わせて選択。私の場合は Operating Syst…

@article{zheng2022alpa, title={Alpa: Automating Inter-and Intra-Operator Parallelism for Distributed Deep Learning}, author={Zheng, Lianmin and Li, Zhuohan and Zhang, Hao and Zhuang, Yonghao and Chen, Zhifeng and Huang, Yanping and Wang, Y…