回転位置埋め込み

$d$ を正の偶数とし、$\theta_i := 10000^{-2i/d}$（$i = 0, \ldots, d/2-1$）、$\boldsymbol{\theta} := (\theta_0, \ldots, \theta_{d/2-1})$ と置く。実数 $m$ に対し

と定める。位置 $m$ のクエリ $\boldsymbol{q} \in \mathbb{R}^{d}$ と位置 $n$ のキー $\boldsymbol{k} \in \mathbb{R}^{d}$ の内積 $\langle \boldsymbol{q}, \boldsymbol{k}\rangle$ の代わりに

を使う方式を回転位置埋め込み（RoPE）という。