情報科学 › LLM アーキテクチャ › Transformer ブロック
ブロックとモデル全体の同変性・因果性
- マスクのない注意を使った Pre-LN・Post-LN のブロックは置換同変である。
- 因果マスクつきの注意を使った Pre-LN・Post-LN のブロックは因果的（定義 6.1［自己注意］）である。
- 定義 2.3 のモデルについて、埋め込み後の行列 からロジット への写像は因果的である。したがって位置 のロジット は だけで決まり、長さ の列を入力したときの は、接頭辞 だけを入力したときの最後の位置のロジットに等しい。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 55 件、定義なども含めて 74 件）。
印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義（直接 4 件）
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
MLP と層正規化は位置の間で情報を混ぜない✓命題 7.1・Transformer ブロック
- 残差接続・位置ごとの MLP・ブロック定義 2.2・Transformer ブロック
- 層正規化定義 2.1・Transformer ブロック
自己注意の置換同変性✓定理 5.2・自己注意
積の結合法則✓系 4.3・行列と連立一次方程式
積は合成の表現行列✓定理 4.2・行列と連立一次方程式
- 座標同型と、基底による線形写像の決定✓命題 2.1・行列と連立一次方程式
- 行列の積定義 4.1・行列と連立一次方程式
線形写像と行列の対応✓定理 3.2・行列と連立一次方程式
- 表現行列定義 3.1・行列と連立一次方程式
- 座標同型と、基底による線形写像の決定✓命題 2.1・行列と連立一次方程式
softmax の基本性質✓命題 3.1・自己注意
指数関数の基本性質✓定理 3.3・指数・対数・三角関数をきちんと定義する
- ダランベールの比判定法✓定理 6.2・級数と収束判定 この先をたどる →
- ワイエルシュトラスの M 判定法✓系 6.4・関数列と一様収束 この先をたどる →
- 指数法則✓補題 4.1・複素数と複素平面 この先をたどる →
- 単項式の導関数✓補題 3.2・指数・対数・三角関数をきちんと定義する この先をたどる →
- 項別微分（極限と微分の交換）✓定理 7.3・関数列と一様収束 この先をたどる →
- 微分可能ならば連続✓定理 3.4・導関数の定義と基本的な微分法
- 導関数の符号と単調性✓系 3.4・平均値の定理とテイラーの定理 この先をたどる →
- 中間値の定理✓定理 5.7・極限と連続性 この先をたどる →
- 置換同変な写像の組み立て✓補題 5.1・自己注意
因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意
- スケール付き内積注意・自己注意・マルチヘッド・因果マスク定義 4.1・自己注意
- 因果的な写像の組み立て✓補題 6.2・自己注意
1 回の順伝播で n 個の予測が得られる✓系 6.4・自己注意
- 因果的な写像の族定義 6.1・自己注意
- 因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意（上で展開済み）
これを使っている定理 証明で参照している 1 件
- KV キャッシュの正しさ✓定理 7.2・推論