書籍: 並列プログラミング入門

並列プログラミング入門 サンプルプログラムで学ぶOpenMPとOpenAC [ 片桐孝洋 ] 価格：3740円（税込、送料無料) (2022/6/18時点) 楽天で購入

• 並列プログラミング入門 サンプルプログラムで学ぶOpenMPとOpenAC
• 発売日： 2015年05月
• 著者／編集： 片桐孝洋
• 出版社： 東京大学出版会
• 発行形態： 単行本
• ページ数： 202p
• ISBN： 9784130624565

個人的に勉強になった（初めて知ったこと）事柄

• 経験則的にthread並列が有効なのは8くらいまで
  • メインメモリとキャッシュメモリ間のデータ転送能力が演算性能に比べ低く、メインメモリからのデータ移動時間がボトルネックになる
  • 排他制御（Mutal Exclusion）ではスレッドがセマフォ（Semaphore）へのアクセスが増大
• ファーストタッチ
  • CPUの近くのメモリに格納されている変数は早くアクセスできる
  • そのためにプログラムの最初に本計算と同じように最初に配列を初期化することで、本計算で用いるデータをCPUの近くに置く
• スレッド（ジョブ）とCPU（コア）の割り当ての関係をアフィニティ（Affinity）と呼ぶ
• OpenMPのスケジューリングguided
  • ラウンドロビン方式とDynamicの合わせ技
• 疎行列の表現形式はたくさんある
• OpenACC知らなかった
  • OpenMPと同じようなディレクティブ形式でGPUを使用することができる（CPUからGPUにオフロード（Off-load）したりとか）
• MPI/OpenMPIによるハイブリッド並列化は経験的には1万MPIプロセスを超える実行で有効になることが多い