情報科学 › LLM アーキテクチャ › スケーリングと文脈
因果的なパターンなら因果性は保たれる
すべての層のパターンが因果的なら、各 と について で、 は だけの関数です。したがって、パターンがどれだけ疎であっても、1 回の順伝播ですべての位置の次トークン予測が得られること、KV キャッシュが正しく使えることは、全注意の場合と同じく成り立ちます。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 60 件、定義なども含めて 80 件）。
印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義（直接 3 件）
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
出力は受容野の中の入力だけの関数✓補題 4.3・スケーリングと文脈
因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意
- スケール付き内積注意・自己注意・マルチヘッド・因果マスク定義 4.1・自己注意
- 因果的な写像の組み立て✓補題 6.2・自己注意
KV キャッシュの正しさ✓定理 7.2・推論
- 因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意（上で展開済み）
ブロックとモデル全体の同変性・因果性✓命題 7.2・Transformer ブロック
MLP と層正規化は位置の間で情報を混ぜない✓命題 7.1・Transformer ブロック
- 残差接続・位置ごとの MLP・ブロック定義 2.2・Transformer ブロック
- 層正規化定義 2.1・Transformer ブロック
自己注意の置換同変性✓定理 5.2・自己注意
- 積の結合法則✓系 4.3・行列と連立一次方程式 この先をたどる →
- softmax の基本性質✓命題 3.1・自己注意 この先をたどる →
- 置換同変な写像の組み立て✓補題 5.1・自己注意
- 因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意（上で展開済み）
1 回の順伝播で n 個の予測が得られる✓系 6.4・自己注意
- 因果的な写像の族定義 6.1・自己注意
- 因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意（上で展開済み）
これを使っている定理
証明で明示的に参照している定理は、まだありません。