絶対位置・相対位置・位置符号化

列の中でのトークンの番号 $p$ を絶対位置、2 つのトークンの絶対位置 $m, n$ の差 $n - m$ を相対位置という。$d$ を正の偶数とし、$i = 0, \ldots, d/2 - 1$ について角周波数を

と置く。実数 $p$ に対し、成分が

であるベクトル $\mathrm{PE}(p) \in \mathbb{R}^{d}$ を正弦波位置符号化という。位置 $p$ のトークンの埋め込み $\boldsymbol{x}$ を $\boldsymbol{x} + \mathrm{PE}(p)$ に置き換えてモデルに入れる。

これに対し、行列 $P \in \mathbb{R}^{L_{\mathrm{ctx}} \times d}$ をパラメータとして持ち、位置 $p \in \{1, \ldots, L_{\mathrm{ctx}}\}$ のトークンの埋め込み $\boldsymbol{x}$ を $\boldsymbol{x} + P_p$（$P_p$ は $P$ の第 $p$ 行）に置き換える方式を、学習する位置埋め込みという。