サブロウ丸

Sabrou-mal サブロウ丸

主にプログラミングと数学

Transformerによる翻訳システム自作

Transformer構造(の一部)を用いた深層学習アーキテクチャ自然言語処理におけるデファクトスタンダードになっています。 そこで、その心は何たるかを知るためにTransformerによる日英翻訳モデル作成をできるだけ自作することを目指します。

以降複数の記事に分けて作成していきます。目標は 深層学習の主要なコンポーネントである変換層、活性化関数、オプティマイザーの準伝播と誤差逆伝播を実装し、その計算原理や計算コストを明らかにする にします。言い換えると、自作を通して曖昧な箇所をなくしていこう、という心持ちです。

また、深層学習で自作といえば次の本を思い浮かべる人も多いのではないでしょうか。


[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

ゼロから作るDeep Learning 2/斎藤康毅【3000円以上送料無料】
価格:3960円(税込、送料無料) (2022/5/30時点)


上記の書籍は非常に分かりやすくエッセンが紹介されている良書です。書籍のコードもMITライセンスで配布されています。

本稿はこの実装を参考にしつつ、コードを組み立てていきます。

今後の計画 (修正されます)

  1. イントロダクション(本稿)
  2. 言語処理 & 学習の大枠の紹介
  3. プロトタイプの作成(シンプルなTransformer)
  4. Masked Multi-head attention
  5. FeedForward & Residual Connection
  6. Multi-block

他の記事