情報科学 › LLM アーキテクチャ › 自己注意
因果マスクつきの自己注意は未来に依存しない
因果マスクつきのマルチヘッド自己注意は因果的である。したがって出力の第 行は だけの関数である。さらに、因果マスクつきの自己注意、補題 6.2 の 1 の形の写像（行ごとの MLP・正規化、位置ベクトルの加算）、それらの合成・和（残差接続）を何層重ねた写像も因果的である。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 1 件、定義なども含めて 2 件）。
印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義（直接 2 件）
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
- スケール付き内積注意・自己注意・マルチヘッド・因果マスク定義 4.1・自己注意
- 因果的な写像の組み立て✓補題 6.2・自己注意
これを使っている定理 証明で参照している 4 件
- KV キャッシュの正しさ✓定理 7.2・推論
- 因果的なパターンなら因果性は保たれる✓命題 4.4・スケーリングと文脈
- 1 回の順伝播で n 個の予測が得られる✓系 6.4・自己注意
- ブロックとモデル全体の同変性・因果性✓命題 7.2・Transformer ブロック