デコーダのみの Transformer

語彙 $V$、次元 $d$、層数 $L$、MLP の幅 $d_{\mathrm{ff}}$、文脈長 $L_{\mathrm{ctx}}$ を定める。パラメータは、埋め込み行列 $E \in \mathbb{R}^{|V| \times d}$、学習する位置埋め込み $P \in \mathbb{R}^{L_{\mathrm{ctx}} \times d}$（命題 4.6［埋め込みと位置符号化］）、$L$ 個の Pre-LN ブロック（注意は因果マスクつき）のパラメータ、最後の層正規化 $\mathrm{LN}_f$ のパラメータである。トークン列 $(t_1, \ldots, t_n)$（$n \le L_{\mathrm{ctx}}$）に対し

1. $X^{(0)}$ を、第 $i$ 行が $E_{t_i} + P_i$ である $n \times d$ 行列とする。
2. $l = 1, \ldots, L$ の順に、$X^{(l)}$ を $X^{(l-1)}$ に第 $l$ ブロックを施したものとする。
3. $Z := \mathrm{LN}_f\big(X^{(L)}\big)\,E^{\mathsf{T}} \in \mathbb{R}^{n \times |V|}$ とする。

$Z$ の第 $i$ 行 $\boldsymbol{z}_i$ を位置 $i$ のロジットといい、$\sigma(\boldsymbol{z}_i)$（softmax）を、$t_1, \ldots, t_i$ の次に来るトークンの予測分布とする。この写像を（入出力の重み共有ありの）デコーダのみの Transformer という。