情報科学 › LLM アーキテクチャ › 埋め込みと位置符号化

足す方式の内積の 4 項分解

命題 5.1（「埋め込みと位置符号化」§5） ・ ✓公理まで証明済み

位置 m,nm, n のトークンの埋め込みを xm,xn∈Rd\boldsymbol{x}_m, \boldsymbol{x}_n \in \mathbb{R}^{d}、位置ベクトルを pm,pn∈Rd\boldsymbol{p}_m, \boldsymbol{p}_n \in \mathbb{R}^{d} とする。

  1. ⟨xm+pm, xn+pn⟩=⟨xm,xn⟩+⟨xm,pn⟩+⟨pm,xn⟩+⟨pm,pn⟩\langle \boldsymbol{x}_m + \boldsymbol{p}_m,\ \boldsymbol{x}_n + \boldsymbol{p}_n \rangle = \langle \boldsymbol{x}_m, \boldsymbol{x}_n \rangle + \langle \boldsymbol{x}_m, \boldsymbol{p}_n \rangle + \langle \boldsymbol{p}_m, \boldsymbol{x}_n \rangle + \langle \boldsymbol{p}_m, \boldsymbol{p}_n \rangle。
  2. pm=PE(m)\boldsymbol{p}_m = \mathrm{PE}(m) のとき、第 4 項は n−mn - m だけの関数だが、全体はそうではない。すなわち、内容 xm=xn=x\boldsymbol{x}_m = \boldsymbol{x}_n = \boldsymbol{x} を固定しても、相対位置が同じ 2 組 (m,n)(m, n)、(m′,n′)(m', n') で値が異なる例がある。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 66 件、定義なども含めて 82 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 4 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 2 問