情報科学 › LLM アーキテクチャ › 自己注意
自己注意の置換同変性
位置情報を加えておらず、マスクもないマルチヘッド自己注意 は置換同変である。すなわち任意の置換行列 と任意の について
さらに、マスクのない自己注意、行ごとに働く写像（MLP・正規化など）、それらの合成・和（残差接続）だけから組み立てた写像は、すべて置換同変である。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 50 件、定義なども含めて 65 件）。
印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義（直接 3 件）
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
積の結合法則✓系 4.3・行列と連立一次方程式
積は合成の表現行列✓定理 4.2・行列と連立一次方程式
- 座標同型と、基底による線形写像の決定✓命題 2.1・行列と連立一次方程式
- 行列の積定義 4.1・行列と連立一次方程式
線形写像と行列の対応✓定理 3.2・行列と連立一次方程式
- 表現行列定義 3.1・行列と連立一次方程式
- 座標同型と、基底による線形写像の決定✓命題 2.1・行列と連立一次方程式
softmax の基本性質✓命題 3.1・自己注意
指数関数の基本性質✓定理 3.3・指数・対数・三角関数をきちんと定義する
ダランベールの比判定法✓定理 6.2・級数と収束判定
- 上極限・下極限の基本性質✓補題 2.3・級数と収束判定
- 等比級数の収束と発散✓命題 3.6・級数と収束判定 この先をたどる →
- 有限個の項の変更・定数倍・和✓命題 3.2・級数と収束判定
- 比較判定法✓定理 4.2・級数と収束判定 この先をたどる →
- 一般項の必要条件✓命題 3.5・級数と収束判定 この先をたどる →
ワイエルシュトラスの M 判定法✓系 6.4・関数列と一様収束
- 一様収束のコーシー判定法✓定理 6.2・関数列と一様収束 この先をたどる →
指数法則✓補題 4.1・複素数と複素平面
- ダランベールの比判定法✓定理 6.2・級数と収束判定（上で展開済み）
- 絶対収束する級数のコーシー積✓定理 7.9・級数と収束判定 この先をたどる →
- 複素数体の基本性質✓定理 2.2・複素数と複素平面
単項式の導関数✓補題 3.2・指数・対数・三角関数をきちんと定義する
- 微分係数定義 3.1・導関数の定義と基本的な微分法
- 微分の線形性・積の法則・商の法則✓定理 6.1・導関数の定義と基本的な微分法 この先をたどる →
項別微分（極限と微分の交換）✓定理 7.3・関数列と一様収束
- 一様収束極限の連続性✓定理 4.1・関数列と一様収束 この先をたどる →
- 微分積分学の基本定理（第二部・ニュートン–ライプニッツの公式）✓定理 5.4・積分の基本定理と定積分 この先をたどる →
- 一様収束の上限判定法✓命題 3.4・関数列と一様収束 この先をたどる →
- 微分可能ならば連続✓定理 3.4・導関数の定義と基本的な微分法
導関数の符号と単調性✓系 3.4・平均値の定理とテイラーの定理
- ラグランジュの平均値の定理✓定理 3.3・平均値の定理とテイラーの定理 この先をたどる →
中間値の定理✓定理 5.7・極限と連続性
- 実数の連続性公理（上限性質）公理 5.1・数とは何か
- 置換同変な写像の組み立て✓補題 5.1・自己注意
これを使っている定理 証明で参照している 1 件
- ブロックとモデル全体の同変性・因果性✓命題 7.2・Transformer ブロック