本稿ではEncoderとDecoderをmulti-block化します。これでTransformerの基本的な構造は実装できたことになります。
Encoderでは、Attention → FeedForwardを一つのブロックとして、これを複数個積み上げます。このブロックでは入力と出力の次元は同じなので、ブロックの境目で特に処理が必要になることはありません。
DecoderではAttention → Attention → FeedForwardをブロックとしてこれを繰り返します。こちらもEncoderと同様にブロックの入力と出力の次元は変わらないので、特別な処理なくブロックを積み重ねることができます。
コード
他の記事
- 次の記事
- 前の記事
- 一覧 Transformer自作 カテゴリーの記事一覧 - サブロウ丸
