情報科学 › LLM アーキテクチャ › 自己注意
位置情報がなければ語順を区別できない
を置換同変な写像とする(定理 5.2 より、位置情報もマスクもない Transformer の層の重ね合わせはこれにあたる)。
- 置換 が を満たすならば 。すなわち出力の第 行は、 と、ほかの行の多重集合(順序を忘れ、重複は数える集まり)だけで決まる。
- とくに最後の位置 の出力は、それより前のトークンをどう並べ替えても変わらない。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義
証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。
これを使っている定理
証明で明示的に参照している定理は、まだありません。