サブロウ丸

サブロウ丸

主にプログラミングと数学

2022-05-26から1日間の記事一覧

サーベイ: ZeRO-Offload: Democratizing Billion-Scale Model Training

@inproceedings{ren2021zero, title={$\{$ZeRO-Offload$\}$: Democratizing $\{$Billion-Scale$\}$ Model Training}, author={Ren, Jie and Rajbhandari, Samyam and Aminabadi, Reza Yazdani and Ruwase, Olatunji and Yang, Shuangyan and Zhang, Minjia a…