KV キャッシュの正しさ

定理 7.2（「推論」§7）・ ✓公理まで証明済み

上の形の層を $L$ 個重ねたモデルを考えます。

（因果性）各 $\ell$ と $t$ について、 $\boldsymbol{h}^{(\ell)}_t$ 、 $\boldsymbol{k}^{(\ell)}_t$ 、 $\boldsymbol{v}^{(\ell)}_t$ は $x_1, \ldots, x_t$ だけの関数です。 $t$ より後のトークンにも、列の全体の長さにも依りません。
（一致）キャッシュつきの生成が位置 $t$ で計算する $\boldsymbol{h}^{(\ell)}_t$ （ $\ell = 0, \ldots, L$ ）は、列 $x_{\le t}$ の全体を入力して計算し直したときの第 $t$ 行と一致します。したがって位置 $t$ のロジットと次のトークンの分布も一致します。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 56 件、定義なども含めて 75 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意
- スケール付き内積注意・自己注意・マルチヘッド・因果マスク定義 4.1・自己注意
- 因果的な写像の組み立て✓補題 6.2・自己注意
ブロックとモデル全体の同変性・因果性✓命題 7.2・Transformer ブロック
- MLP と層正規化は位置の間で情報を混ぜない✓命題 7.1・Transformer ブロック
  - 残差接続・位置ごとの MLP・ブロック定義 2.2・Transformer ブロック
  - 層正規化定義 2.1・Transformer ブロック
- 自己注意の置換同変性✓定理 5.2・自己注意
  - 積の結合法則✓系 4.3・行列と連立一次方程式
    積は合成の表現行列✓定理 4.2・行列と連立一次方程式この先をたどる →
    線形写像と行列の対応✓定理 3.2・行列と連立一次方程式この先をたどる →
  - softmax の基本性質✓命題 3.1・自己注意
    指数関数の基本性質✓定理 3.3・指数・対数・三角関数をきちんと定義するこの先をたどる →
  - 置換同変な写像の組み立て✓補題 5.1・自己注意
- 因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意（上で展開済み）
- 1 回の順伝播で n 個の予測が得られる✓系 6.4・自己注意
  - 因果的な写像の族定義 6.1・自己注意
  - 因果マスクつきの自己注意は未来に依存しない✓定理 6.3・自己注意（上で展開済み）

これを使っている定理証明で参照している 1 件

因果的なパターンなら因果性は保たれる✓命題 4.4・スケーリングと文脈

KV キャッシュの正しさ

閉包の状態

前提をたどる 証明が使う定理・定義（直接 2 件）

これを使っている定理 証明で参照している 1 件

関連するノック 2 問

前提をたどる証明が使う定理・定義（直接 2 件）

これを使っている定理証明で参照している 1 件