サブロウ丸

サブロウ丸

主にプログラミングと数学

MPI

クラスタコンピュータで mpi + pythonを実行する

本稿ではクラスタコンピュータでmpiを用いてpythonを並列実行するまでの手順を紹介します。 1ノードでの実行の場合 クラスタでの実行の場合 sshログインの整備 python環境の整備 実行コマンド pytest-mpi おまけ open-mpiのオプションについて 1ノードでの実…

MPI_Datatypeのサイズを取得する

MPI

MPI_Datatypeのデータサイズは実行環境に依存しますが、その環境のデータサイズどうなのか? というのを調べる関数が用意されています。 MPI_Type_size(MPI_Datatype datatype, int * size); でsize変数にデータサイズが格納されます。(参考: MPI_Type_size(…

書籍: スパコンプログラミング入門

スパコンプログラミング入門 並列処理とMPIの学習 [ 片桐孝洋 ]価格:3520円(税込、送料無料) (2022/6/19時点)楽天で購入 スパコンプログラミング入門 並列処理とMPIの学習 発売日: 2013年03月13日頃 著者/編集: 片桐孝洋 出版社: 東京大学出版会 発行…

pytorchでの分散処理にMPI backendを使用する

python.distributedでは分散処理用のAPIとして、Point-to-Point通信や集団通信が提供されています。なので結構細かい処理をカスタマイズできたりします。 通信のbackendとしては(pytorch 1.13の段階で) MPI、 GLOO、 NCCLが指定できます。それぞれのbackend…