サブロウ丸

サブロウ丸

主にプログラミングと数学

Transformerによる翻訳システム自作; part5 multi layer block

本稿ではEncoderとDecoderをmulti-block化します。これでTransformerの基本的な構造は実装できたことになります。

Encoderでは、Attention → FeedForwardを一つのブロックとして、これを複数個積み上げます。このブロックでは入力と出力の次元は同じなので、ブロックの境目で特に処理が必要になることはありません。

DecoderではAttention → Attention → FeedForwardをブロックとしてこれを繰り返します。こちらもEncoderと同様にブロックの入力と出力の次元は変わらないので、特別な処理なくブロックを積み重ねることができます。

コード

他の記事