関連記事 2014.01.20, Kirk W. Cameron (HPCwire Japan訳), HPC電力効率とGreen500 2015.03.31, HPCwire Japan, ExaScaler-1がさらに電力性能を向上させ、世界第一位相当の値を計測 2017.12.12. TECH_+, 3段階に分かれるGreen500の電力測定法 2018.05.19, 横…

スパコンプログラミング入門 並列処理とMPIの学習 [ 片桐孝洋 ]価格：3520円（税込、送料無料) (2022/6/19時点)楽天で購入 スパコンプログラミング入門 並列処理とMPIの学習 発売日： 2013年03月13日頃 著者／編集： 片桐孝洋 出版社： 東京大学出版会 発行…

並列プログラミング入門 サンプルプログラムで学ぶOpenMPとOpenAC [ 片桐孝洋 ]価格：3740円（税込、送料無料) (2022/6/18時点)楽天で購入 並列プログラミング入門 サンプルプログラムで学ぶOpenMPとOpenAC 発売日： 2015年05月 著者／編集： 片桐孝洋 出版…

記事の更新をしたのでお知らせ。 bit-dpの理論と実装の解説pdfを作成しました。 inarizuuuushi.hatenablog.com

機械学習の分散フレームワークのベンンチマーク。アルゴリズムなどは限られたものを利用する。ハードウェア(GPU-CPUメモリ)、並列(worker)数、ネットワーク帯域は可変なのでこれらの性能評価に用いることができる。 website documentation github 実行自体は…

ML Commonsとは、機械学習アプリケーションのベンチマークであるMLPerfの管理を行う団体のこと。 website: github: 2022/06/14時点でのベンチマーク項目は下記。 Training Training: HPC Inference: Datacenter Inference: Edge Inference: Mobile Inference…

python.distributedは、Point-to-Point通信や集団通信といった分散処理のAPIを提供しています。これにより、細かな処理をカスタマイズすることが可能です。 通信のbackendとしては、pytorch 1.13時点では、MPI、GLOO、NCCLが選択できます。各backendで利用で…

transformerについてまとめてみました。 speakerdeck.com