情報科学 › LLM アーキテクチャ › 埋め込みと位置符号化

RoPE の内積は相対位置だけで決まる

定理 6.3（「埋め込みと位置符号化」§6） ・ ✓公理まで証明済み

q,k∈Rd\boldsymbol{q}, \boldsymbol{k} \in \mathbb{R}^{d}、m,n∈Rm, n \in \mathbb{R} とする。

  1. ⟨Rmq,Rnk⟩=⟨q,Rn−mk⟩\langle R_m \boldsymbol{q}, R_n \boldsymbol{k} \rangle = \langle \boldsymbol{q}, R_{n-m} \boldsymbol{k} \rangle。したがってこの値は q\boldsymbol{q}、k\boldsymbol{k} と相対位置 n−mn - m だけで決まり、任意の実数 ss について ⟨Rm+sq,Rn+sk⟩=⟨Rmq,Rnk⟩\langle R_{m+s} \boldsymbol{q}, R_{n+s} \boldsymbol{k} \rangle = \langle R_m \boldsymbol{q}, R_n \boldsymbol{k} \rangle。
  2. ∥Rmq∥=∥q∥\|R_m \boldsymbol{q}\| = \|\boldsymbol{q}\|。
  3. 第 ii の対を複素数 q^i:=q2i+i q2i+1\hat q_i := q_{2i} + \mathrm{i}\, q_{2i+1}、k^i:=k2i+i k2i+1\hat k_i := k_{2i} + \mathrm{i}\, k_{2i+1} と書くと（i\mathrm{i} は虚数単位）
⟨Rmq,Rnk⟩=Re∑i=0d/2−1q^i k^i‾  ei(m−n)θi.\langle R_m \boldsymbol{q}, R_n \boldsymbol{k} \rangle = \mathrm{Re} \sum_{i=0}^{d/2-1} \hat q_i\, \overline{\hat k_i}\; e^{\mathrm{i}(m-n)\theta_i} .

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 56 件、定義なども含めて 71 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 3 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 3 問