本記事は数理最適化 Advent Calendar 2023の18日目の記事です。分散深層学習に使われる最適化について紹介します。 分散深層学習は、複数の計算ユニット（GPU、CPUなど）を活用して深層学習モデルを訓練する手法のことで、特にLLMのような巨大モデルの訓練に…