検索した断片を入力に足すコスト

命題 9.2（「スケーリングと文脈」§9）・ ✓公理まで証明済み

定義 9.1 の構成で、全注意のモデルを使うとします。

入力の長さは高々 $n + kc$ で、1 層の注意の乗算は $2(n + kc)^2 d$ 回以下、KV キャッシュは $2L(n + kc)d$ 個以下です。断片を足さない場合に比べて、注意の項は高々 $\bigl(1 + \frac{kc}{n}\bigr)^2$ 倍、線形写像と MLP の項とキャッシュは高々 $1 + \frac{kc}{n}$ 倍です。
生成の分布は $p_\theta(\cdot \mid \text{断片}, \text{質問})$ で、重み $\theta$ は断片に依りません。文書の集まりを入れ替えても $\theta$ は変わらず、出力の変化は、条件にする接頭辞が変わることだけを通じて起こります。

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 5 件、定義なども含めて 8 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

証明で明示的に参照している定理は、まだありません。