情報科学 › LLM アーキテクチャ › 自己注意

位置情報がなければ語順を区別できない

系 5.3(「自己注意」§5) ・ ✓公理まで証明済み

f:Rn×d→Rn×d′f : \mathbb{R}^{n\times d} \to \mathbb{R}^{n\times d'} を置換同変な写像とする(定理 5.2 より、位置情報もマスクもない Transformer の層の重ね合わせはこれにあたる)。

  1. 置換 π\pi が π(i)=i\pi(i) = i を満たすならば f(PπX)i=f(X)if(P_\pi X)_i = f(X)_i。すなわち出力の第 ii 行は、xi\boldsymbol{x}_i と、ほかの行の多重集合(順序を忘れ、重複は数える集まり)だけで決まる。
  2. とくに最後の位置 i=ni = n の出力は、それより前のトークンをどう並べ替えても変わらない。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義

証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 2 問