サブロウ丸

Sabrou-mal サブロウ丸

主にプログラミングと数学

サーベイ: Which can Accelerate Distributed Machine Learning Faster: Hybrid Optical/Electrical or Optical Reconfigurable DCN?

論文サーベイ
Yang, Hao, et al. "Which can Accelerate Distributed Machine Learning Faster: Hybrid Optical/Electrical or Optical Reconfigurable DCN?." 2022 Optical Fiber Communications Conference and Exhibition (OFC). IEEE, 2022.


@inproceedings{yang2022can, title={Which can Accelerate Distributed Machine Learning Faster: Hybrid Optical/Electrical or Optical Reconfigurable DCN?}, author={Yang, Hao and Zhu, Zuqing and Proietti, Roberto and Yoo, SJ Ben}, booktitle={2022 Optical Fiber Communications Conference and Exhibition (OFC)}, pages={1--3}, year={2022}, organization={IEEE} }

TL; DR

  • 光と電気のハイブリッドシステムとHyper-FleX-LIONのどちらが分散機械学習に適しているかをテストベッドを用いて調査
  • Hyper-FleX-LION (AWGR: arrayed waveguide grating routerを用いた全結合ネットワーク）
  • 分散深層学習におけるトラヒックパターンを4つ用意
    • Distributed Data Parallel (DDP), Ring-AllReduce (Ring), Parameter Server (PS) and Peer-to-Peer (P2P)
  • ResNet + CIFAR10で学習させたときの高速化率で比較、全てのパターンにおいてHyper-FleX-LIONの方が良い結果に

詳細

用語

  • HOE: Hybrid optical and electrical
  • OXC: Optical Cross Connect 光クロスコネクト*1
  • Hyper-FleX-LION*2
  • EPS: Electronic Packet Switch 電子パケット交換 *3
  • AWGR: arrayed waveguide grating router アレイ導波路回折格子型ルータ *4
  • WSS: Wavelength Selective Switch 波長選択スイッチ*5
  • MUX/DEMUX*6

背景

  • 機械学習モデルとデータセットが巨大化
  • 学習データを分割できる分散機械学習が注目
  • しかしラック間通信がボトルネックになっている
  • 光を用いたラック間通信としてHOE-DCN（光と電気の組み合わせ）とFlex-LIONベースの全光のDCNが提案されている

どんなもの?

  • 4つのラックからなる小規模なDCN(データセンターネットワーク)テストベッドを作成
  • HOE-DCN with OXC (HOE-w/OXC) と Flex-LIONS ベースの全光 DCN (Hyper-FleX-LION) を比較して、機械学習のユースケースにおいてFlex-LIONSベースのものの方がより効率的な通信が行えることを示した。
    • おそらく1epochあたりの学習時間を比較していると思われる

先行研究と比べてどこがすごい?

  • 4台のラックからなるテストベッドを用意して、機械学習における通信効率を実際に計測した
  • HOEとHyper-FleX-LIONを（同時に実現できるシステムを）市販品で構成した

https://cdn-ak.f.st-hatena.com/images/fotolife/i/inarizuuuushi/20220926/20220926134009.png

技術や手法のキモはどこ?

どうやって有効だと検証した?

  • テストベッドを用いてResNet + CIFAR10で学習した
    • 各サーバーには4つの6コアCPUと32GBのメモリを搭載
    • 公平に比較するために?、各ToRスイッチに1GbEの光ポートを4つずつ装備
    • HOE-w/OXC では、各 ToR スイッチの 3 ポートをFat-treeベースのEPSベースのラック間トポロジに接続し、4ポートをOXCに接続
    • Hyper-FleX-LION では、ToR スイッチ上のポートは、1 つの 8×8 AWGRと8 つの1×9WSSが接続されている
  • 分散深層学習におけるトラヒックパターンを4つ用意
    • Distributed Data Parallel (DDP), Ring-AllReduce (Ring), Parameter Server (PS) and Peer-to-Peer (P2P)
  • ResNet + CIFAR10で学習させたときの高速化率で比較、全てのパターンにおいてHyper-FleX-LIONの方が良い結果に

議論はある?

TBA

次に読むべき論文は?

Architecture and performance studies of 3D-Hyper-FleX-LION for reconfigurable all-to-all HPC networks

Fat-Treeネットワークトポロジーは、大規模HPCネットワークのための主要な最先端のソリューションですが、電力、レイテンシ、複雑さ、およびコストの面で、何万もの異種計算ノード間の通信帯域が増加し続けているため、その拡張性が著しく損なわれています。我々は、3D-Hyper-FleX-LIONを提案します。これは、最新のマルチテラビットスイッチASIC（粒度100Gb/s）のマルチチャネル特性とFlex-LIONSと呼ばれる再構成可能な全対全光学ファブリックを活用するフラットハイブリッド電子-光インターコネクト・ネットワークです。提案する3D-Hypter-FleX-LIONは、同じノード数、同じオーバーサブスクリプション比のFat-Treeネットワークと比較して、直径が20%小さく、消費電力が3倍、ケーブル接続数が10倍、トランシーバ数が4倍削減されます。また、FleX-LIONSの帯域再構成機能を非均一なトラフィックワークロードに利用した場合、シミュレーションの結果、3D-Hypter-FloX-LIONはFat-Treeと比較して、高い局所性を持つ合成トラフィックワークロードで最大4倍のエネルギー効率の改善を達成することができました。

本論文で提案するアーキテクチャの設計と特性を紹介する前に、それを可能にする主要なフォトニック技術について概説する。まず、波長分割多重WDMの概念と、LIONS（low-latency interconnect optical network switch）と呼ばれるAWGR（arrayed waveguide grating router）の波長ルーティングによる全方向相互接続を紹介する。次に、シリコンフォトニック（SiPh）プラットフォームにおける、帯域再構成可能なFlex-LIONSを紹介する。Flex-LIONSは、（a）AWGRにおける波長ルーティング、（b）シリコンフォトニック（SiPh）マイクロリング共振器（MRR）の再構成可能なアド/ドロップフィルタ機能、（c）多波長スイッチ（MRRマトリックスまたはベネスアーキテクチャ内のマッハツェンダー干渉計（MZI）を使用）を活用しています。他の技術 (関連研究 IV 章で説明) でも光帯域の再構成は可能ですが，提案するアーキテクチャは全方向の相互接続をサポートし，帯域の再構成を実現することに留意してください．私たちの知る限り、Flex-LIONSテクノロジーだけが、AWGRの全波長ルーティングの特性を活用し、全対全相互接続の帯域幅再構成という独自の機能を備えています。

*1:光クロスコネクトとは、光ファイバーにおいてデータ伝送のための光通信路を自由に設定すること（スイッチング）ができる装置のことである。光クロスコネクトでは、用途や伝送速度ごとに形式の異なるデータ伝送経路が存在していた場合にも、データ信号を別の経路に出力することが可能になる。変換方式としては、変換装置（光クロスコネクトスイッチ）の内部で電気的な信号に変換してから別な光信号に変換しなおすタイプのものと、光信号のままで光の形式を変換する変えるものとがある。https://www.sophia-it.com/content/optical+cross-connect

*2:Liu, Gengchen, et al. "Architecture and performance studies of 3D-Hyper-FleX-LION for reconfigurable all-to-all HPC networks." SC20: International Conference for High Performance Computing, Networking, Storage and Analysis. IEEE, 2020.

*3:到着したパケットは光電変換の後に一旦バッファに格納される（ストアアンドフォワード型）．その後，宛先検索やスイッチが施され，再びバッファへパケットが格納され，再び光信号に変換されて光ネットワークへ出力される．バッファやスイッチの動作速度の制約から，電気信号は低速のバス（複数信号）で処理される．https://www.ieice-hbkb.org/files/05/05gun_05hen_01.pdf

*4:https://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%AC%E3%82%A4%E5%B0%8E%E6%B3%A2%E8%B7%AF%E5%9B%9E%E6%8A%98%E6%A0%BC%E5%AD%90

*5:光ネットワークノードにおいては、波長多重された光信号から任意の波長パスを任意のポートへ動的に切り替える機能が求められており、この波長選択機能を1つのデバイスで実現したものが波長選択スイッチ(WSS: Wavelength Selective Switch)である。http://www.tsud.elec.keio.ac.jp/research/wss.html

*6:Muxは波長の異なる信号を合波して１本の光ファイバに入射させるデバイスです。DeMuxは逆に合波された信号を波長別に分離するデバイスです。複数波長の信号を1本の光ファイで伝送するＷＤＭ通信の入出力に使用されます。CWDM通信やDWDM通信の波長に対応したデバイスが市販されています。https://www.fiberlabs.co.jp/tech-word/mux-demux/