情報科学 › LLM アーキテクチャ › スケーリングと文脈

窓つき注意の計算量

命題 4.5(「スケーリングと文脈」§4) ・ ✓公理まで証明済み

幅 ww のスライディングウィンドウ注意(1≤w≤n1 \le w \le n)では、Mij=1M_{ij} = 1 である対の数は nw−w(w−1)2nw - \dfrac{w(w-1)}{2} で、nwnw 以下です。1 層の注意(内積と重みつき和)の乗算は 2d(nw−w(w−1)2)≤2nwd2d \bigl(nw - \frac{w(w-1)}{2}\bigr) \le 2nwd 回、保持する重み αij\alpha_{ij} は nwnw 個以下です。したがって時間計算量は O(nwd)O(nwd)、重みの記憶量は O(nw)O(nw) です。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義

証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。

これを使っている定理 証明で参照している 1 件

関連するノック 1 問