サブロウ丸

サブロウ丸

主にプログラミングと数学

Pytorch 分散処理プロファイルを読む

Pytorchで用意されている分散処理機能(Distributed Data Parallel)の中では特にbackward時に勾配の計算と、その勾配の共有(集団通信)が頻繁に行われます。Pytorchではそのデバッグと性能計測用にその計算と通信の開始/終了のタイミングの計測が行われてい…

Python: 依存関係のあるオブジェクト集合の複製

導入 手法 愚直にやるなら... pickleによる複製作成 まとめ 導入 下図のような依存関係のあるDogとCatのオブジェクトがあるとします。Dogのcat属性にはCatクラスのオブジェクトが格納されていて、Catのdog属性にはDogクラスのオブジェクトが格納されていると…

CUDA version update

CUDAのバージョンを上げたときの手順を記録しておきます。 バージョンアップの方法を検索するとさまざまな方法が出てきますが、結局公式の方法が最もストレートでした。 環境: Ubuntu v18.04 上記のリンクから環境に合わせて選択。私の場合は Operating Syst…

サーベイ: Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning

@article{zheng2022alpa, title={Alpa: Automating Inter-and Intra-Operator Parallelism for Distributed Deep Learning}, author={Zheng, Lianmin and Li, Zhuohan and Zhang, Hao and Zhuang, Yonghao and Chen, Zhifeng and Huang, Yanping and Wang, Y…

Read the Docsでコンパイル時のPythonのバージョンを変更する

Read the Docsでは現在(2022年10月)ではPython3.7を用いてドキュメントのコンパイルが行われており、プロジェクトがPython3.7に対応していない場合はコンパイル時にエラーが生じて内容がうまく表示されない場合があります。(例えばPython3.8 以上で導入され…

アルゴリズム関連の記事のまとめ

競プロっぽいやつ generatorを用いた二分木におけるパスの全列挙; Python - サブロウ丸 (DFS) 深さ優先探索; Python - サブロウ丸 (BFS) 幅優先探索; python - サブロウ丸 beam search; ビームサーチ; python - サブロウ丸 RangeMinimumQuery, RangeMaximumQ…

VSCodeのjupyter notebookでカーネル選択ができない場合

題名の通りVisual Studio Codeでjupyter notebookを起動してカーネル選択をしようとすると、 "Jupyter サーバーに接続"などしか選べず具体的なPythonのカーネルを選択できない場合。 公式のPython ExtensionをインストールすればPythonカーネルを選択できる…

Python: デバッグとプロファイル

本稿の目的と構成 研究(仮説)とプログラミング(検証)は密接に関わっており、バグの少ないコードは実験のやり直しを最小限にし、手法の検討に必要な正しい情報の取得をもたらす。 しかしながら、テストを書いたり、バグの原因を見つける作業は大変な労力…

flopt

floptに関する記事のまとめです。 floptとはユーザーが解きたい問題を表現、具現化する作業をサポートするソフトウェアです。最適化モデリングツール、と呼んでいます。 v0.5.5 flopt 仕様 v0.5.5: 全体構成 - サブロウ丸 flopt 仕様 v0.5.5 Userサイド -- …

flopt 仕様 v0.5.5: Solverサイド

本稿ではfloptのSolverサイドであるソルバの話をします。 floptでは内部で実装されたアルゴリズムと外部ライブラリのソルバを用いて最適化を実行することができます。 Solver実装のキホン 解の登録 コールバック関数の実行 時間制限の確認 終了ステータス 問…

flopt 仕様 v0.5.5: Systemサイド -- 問題解析とソルバ選択

本稿ではfloptのSystemサイドである問題(Problem)の解析やソルバ選択について記載します。 問題解析とは? 本稿では問題解析をユーザーが定義した問題がどのタイプの最適化問題に属するのかを機械的に判断すること、とします。floptでは柔軟なモデリングによ…

flopt 仕様 v0.5.5: Userサイド -- モデリング

本稿ではfloptにおける柔軟で強力なモデリングを支える基盤である変数と式の設計を紹介します。 変数 (Variable) 式 (Expression) Expression 式の文字列表現とその恩恵 単項式と多項式クラス CustomExpression Sum, Prod 演算のオーバーライド まとめ 関連…

flopt 仕様 v0.5.5: 全体構成

これから数回にわたってfloptという私が開発している最適化モデリングツールの構成について紹介したいと思います。具体的な使い方というよりは、その仕様について記録を残すのがメインです。 具体的な使用方法やチュートリアルはこちら。 本稿ではfloptの構…

RangeMinimumQuery, RangeMaximumQuery, BitIndexTree coded by Python

I show the RangeMinimumQuery, RangeMaximumQuery and BitIndexTree python class implementations. RangeMinimumQuery and RangeMaximumQuery are data structures for faster obtaining the minimum and maximum value of sub sequential array. BitIndex…

(BFS) 幅優先探索; python

今更感ありますが、、二分木構造に関するDFSで、1. 行きがけ、2. 帰りがけ, 3. 全記録、のPythonコードを紹介します。本稿では下記の木を例に使用します。 幅優先探索(BFS)はオレンジ色の順番のように、深さが浅いノードを優先して探索を行います。 ここで…

C++コードで実装されたPythonパッケージの作成; pybind11

C++コードを含むPythonパッケージ(pipでinstallできるもの)を作成する方法を紹介します。計算が重い部分をC++に置き換えることができるため、パッケージに含まれる関数の処理速度を上げることができます。 pybind11を用いれば意外と簡単に作成することがで…

DistributedDataParallel (pytorch) の内部デザイン

https://pytorch.org/docs/stable/notes/ddp.html#internal-design の日本語訳 + おまけの脚注 pytorch はv1.12 Internal Design ここでは、torch.nn.parallel.DistributedDataParallelがどのように動作しているかを、1つの反復処理の各ステップの詳細に踏み…

DistributedDataParallel (pytorch) サンプルコード

本稿ではDistributedDataParallelのサンプルコードを示し、また実行中にどのような通信が行われているかを確認します。 参考: Getting Started with Distributed Data Parallel — PyTorch Tutorials 1.13.0+cu117 documentation pytorch DistributedDataPara…

pyenv, virtualenv 環境設定手順 & 操作方法のまとめ; Python

本稿ではpyenv, virtualenvを用いたpythonの仮想環境の構築方法とその操作方法をまとめます。なお、本稿の内容は私が所属した大学の研究室の先輩がまとめた資料をもとにしており、本人の承諾のもと公開しています。 pyenv install pyenv操作 pyenv-virtualen…

import torch; from torch._C import * # noqa: F403 ImportError: undefined symbol

>>> import torch Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/tateiwa/.pyenv/versions/3.10.5/lib/python3.10/site-packages/torch/__init__.py", line 202, in <module> from torch._C import * # noqa: F403 ImportError: /home/tatei</module></module></stdin>…

Megatron-LMを読む

NVIDIAが提案するTransformerをベースとする言語処理モデルの並列化実装。 Githubのレポジトリには Data Preprocessing (データ前処理) Pretraining(事前学習) Evaluation and Tasks(評価) のコードが含まれています。 事前学習については BERT GPT T5…

(DFS) 深さ優先探索; Python

二分木構造に関するDFSで、1. 行きがけ、2. 帰りがけ、 3. 通りがけ、 4. 全記録、のPythonコードを紹介します。本稿では下記の木を例に使用します。 深さ優先探索(DFS)はご存知のようにオレンジ色の順番のように、深く(子孫側に)進む方向を優先して二分…

クラスタコンピュータで MPI + Pythonを実行する

本稿ではクラスタコンピュータでMPIを用いてPythonを並列実行するまでの手順を紹介します。 1ノードでの実行の場合 クラスタでの実行の場合 sshログインの整備 python環境の整備 実行コマンド おまけ open-mpiのオプションについて mpi4pyのインストールに失…

フラクショナルカスケーディング応用

k-th number 方法 fractional cascading 実装 プログラムのまとめ まとめ k-th number 数列a_1, a_2, ..., a_nとクエリを表す数の3つ組みがm個与えられる。各クエリ(i, j, k)に対しa_i, ..., a_jを昇順にソートした際のk番目の数を出力せよ。 n ≤ 1000000 m …

Docker image and file to generate SVP Challenge instances

I created Dockerfile to generate instances of SVP Challenge. Dockerfile Usage Build and enter docker image pull from DockerHub docker pull nariaki3551/svp_generator docker run -v $(pwd):/mnt -it nariaki3551/svp_generator from Dockerfile do…

beam search; ビームサーチ; python

幅優先探索の亜種ですね。 rootノードのみからなるpath一つを持つpathsを生成 paths内の全てのpathを1階層分だけ展開しpathsを更新 スコアが最も高いk個のpathのみをpathsに残す 2に戻る 補足: https://www.baeldung.com/cs/beam-search 下記のように実装し…

Makefileの些事

PHONY .PHONY ダミーターゲット(PHONYは偽物の意) サブコマンドを作るために使用される。 .PHONY: clean clean: rm a.out main.o 上記によりmake cleanでrm a.out main.o が実行される。 .PHONYを指定しないと実行ディレクトリにcleanファイル/フォルダが…

最適化モデリングツール flopt を試してみる

Qiitaに記事を投稿しました。 Dev Community Medium 本稿では、最適化モデリングツールfloptの基本的な使い方やいくつかの機能の具体例を紹介します。(私も開発者の一人です) 最適化モデリングツールとは、ユーザーが解きたい問題を表現、具現化する作業をサ…

pybind11を用いた高速化 (master_mind)

pybind11を用いてPythonプロジェクトの一部をc++コードで置き換えて高速化を試みます。 本稿では以前作成したmaster mindのプロジェクトを題材にします。 作業前のコード 本稿で出てくる用語(ほとんど出さないように気をつけましたが)はmaster mind by c++; …

MLBenchのビルド

MLBenchのビルド(https://mlbench.github.io)に色々手間取ったのでその記録を残します。 最終的な手順 実行コマンド エラー一覧 error: blis/cy.c: No such file or directory Failed to build matplotlib Starting control-plane Error docker.errors.APIEr…