サブロウ丸

Sabrou-mal サブロウ丸

主にプログラミングと数学

分散処理

集団通信の可視化方法について

故きを温ねて新しきを知る Fast Multi-GPU collectives with NCCL NCCL: Collective Operations Collective communication: theory, practice, and experience A Generalization of the Allreduce Operation TACCL: Guiding Collective Algorithm Synthesis …

サーベイ: How Optical Technologies Can Innovate Intra Data Center Networks

Sato, Ken-ichi. "How optical technologies can innovate intra data center networks." 2021 International Conference on Computer Communications and Networks (ICCCN). IEEE, 2021. paper: https://ieeexplore.ieee.org/document/9522206 光スイッチを…

計算時における消費電力計測

関連記事 2014.01.20, Kirk W. Cameron (HPCwire Japan訳), HPC電力効率とGreen500 2015.03.31, HPCwire Japan, ExaScaler-1がさらに電力性能を向上させ、世界第一位相当の値を計測 2017.12.12. TECH_+, 3段階に分かれるGreen500の電力測定法 2018.05.19, 横…

書籍: スパコンプログラミング入門

スパコンプログラミング入門 並列処理とMPIの学習 [ 片桐孝洋 ]価格:3520円(税込、送料無料) (2022/6/19時点)楽天で購入 スパコンプログラミング入門 並列処理とMPIの学習 発売日: 2013年03月13日頃 著者/編集: 片桐孝洋 出版社: 東京大学出版会 発行…

書籍: 並列プログラミング入門

並列プログラミング入門 サンプルプログラムで学ぶOpenMPとOpenAC [ 片桐孝洋 ]価格:3740円(税込、送料無料) (2022/6/18時点)楽天で購入 並列プログラミング入門 サンプルプログラムで学ぶOpenMPとOpenAC 発売日: 2015年05月 著者/編集: 片桐孝洋 出版…

Pytorchでの分散処理にMPI backendを使用する

python.distributedは、Point-to-Point通信や集団通信といった分散処理のAPIを提供しています。これにより、細かな処理をカスタマイズすることが可能です。 通信のbackendとしては、pytorch 1.13時点では、MPI、GLOO、NCCLが選択できます。各backendで利用で…