one-hot ベクトル・埋め込み行列・重み共有

語彙 $V$ の元に $1, \ldots, |V|$ の番号を付け、トークンをその番号と同一視する。トークン $v$ の one-hot ベクトル $\boldsymbol{e}_v \in \mathbb{R}^{|V|}$ とは、第 $v$ 成分が 1、ほかの成分が 0 のベクトルである。

行列 $E \in \mathbb{R}^{|V| \times d}$ を埋め込み行列、$d$ を埋め込みの次元という。$E$ の第 $v$ 行を列ベクトルとみなしたもの $E_v \in \mathbb{R}^{d}$ を、トークン $v$ の埋め込みという。トークン列 $(t_1, \ldots, t_n)$ に対し、第 $i$ 行が $E_{t_i}^{\mathsf{T}}$ である行列 $X \in \mathbb{R}^{n \times d}$ を、その列の埋め込みという。

モデルの最後で、ベクトル $\boldsymbol{h} \in \mathbb{R}^{d}$ から各トークン $v$ の点数（ロジット）を $z_v := \langle \boldsymbol{h}, U_v \rangle$（$U \in \mathbb{R}^{|V| \times d}$、$U_v$ はその第 $v$ 行）で作るとき、$U = E$ と取ること、すなわち入力側の埋め込み行列と出力側の行列に同じパラメータを使うことを重み共有という。