残差接続・位置ごとの MLP・ブロック

（残差接続） 写像 $F : \mathbb{R}^{n\times d} \to \mathbb{R}^{n \times d}$ に対し、$X \mapsto X + F(X)$ を $F$ の残差接続という。

（位置ごとの MLP） パラメータ $W_1 \in \mathbb{R}^{d \times d_{\mathrm{ff}}}$、$\boldsymbol{b}_1 \in \mathbb{R}^{d_{\mathrm{ff}}}$、$W_2 \in \mathbb{R}^{d_{\mathrm{ff}} \times d}$、$\boldsymbol{b}_2 \in \mathbb{R}^{d}$ と活性化関数 $\phi : \mathbb{R} \to \mathbb{R}$ に対し

と定める（$\phi$ は成分ごと）。第 $i$ 行は $g(\boldsymbol{x}_i) := W_2^{\mathsf{T}}\phi(W_1^{\mathsf{T}}\boldsymbol{x}_i + \boldsymbol{b}_1) + \boldsymbol{b}_2$ で、1 層の隠れ層を持つ多層パーセプトロン（定義 2.1［ニューラルネットワークと逆伝播］ で層数を 2、2 層目の活性化関数を恒等写像としたもの。同定義は活性化関数を $C^1$ 級と仮定しており、$\mathrm{GELU}$ はこれを満たすが、$\mathrm{ReLU}$ は 0 で微分可能でないので満たさない）を各行に施したものである。$d_{\mathrm{ff}}$ を MLP の幅という。活性化関数は $\mathrm{ReLU}(t) := \max(0, t)$ か、標準正規分布の分布関数 $\Phi$ を使った $\mathrm{GELU}(t) := t\,\Phi(t)$ を取る。

（ブロック） マルチヘッド自己注意 $\mathrm{MHA}$（定義 4.1［自己注意］）、位置ごとの $\mathrm{MLP}$、2 つの層正規化 $\mathrm{LN}_1, \mathrm{LN}_2$ から、次の 2 通りのブロックを定める。

Pre-LN のブロックで、層から層へ足し込まれながら受け渡される $X, Y, X', \ldots$ を残差流という。