情報科学 › LLM アーキテクチャ › スケーリングと文脈

全注意のコストは文脈長の 2 乗

命題 3.2（「スケーリングと文脈」§3）・ ✓公理まで証明済み

因果マスクつきの全注意（各位置が自分以前のすべての位置を見る）を使う $L$ 層のモデルで、長さ $n$ の列を 1 回順伝播するとします。

1 層あたりの乗算は、注意（内積と重みつき和）が $2n^2 d$ 回、線形写像と MLP が $n(4d^2 + 2d\,d_{\mathrm{ff}})$ 回です。
KV キャッシュが保存する数は $2Lnd$ 個です。
$n$ を $c$ 倍（ $c > 0$ ）にすると、注意の項は $c^2$ 倍、線形写像と MLP の項は $c$ 倍、KV キャッシュは $c$ 倍になります。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 4 件、定義なども含めて 6 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 3 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

KV キャッシュの計算量と記憶量✓定理 7.3・推論
- O 記法・Ω 記法・Θ 記法定義 3.1・計算量と O 記法
- O 記法の計算則✓命題 3.4・計算量と O 記法
自己注意 1 層の計算量✓命題 7.2・自己注意
- 添字による縮約定義 5.1・NumPy で書く配列計算
- O 記法・Ω 記法・Θ 記法定義 3.1・計算量と O 記法
- 入力を 2 倍にしたときの比✓命題 5.1・計算量と O 記法
入力を 2 倍にしたときの比✓命題 5.1・計算量と O 記法

これを使っている定理証明で参照している 1 件

検索した断片を入力に足すコスト✓命題 9.2・スケーリングと文脈