情報科学 › LLM アーキテクチャ › スケーリングと文脈

べき則の性質と指数の決定

命題 7.3(「スケーリングと文脈」§7) ・ ✓公理まで証明済み

L(N)=aN−α+L∞L(N) = a N^{-\alpha} + L_\infty(a,α>0a, \alpha > 0、L∞≥0L_\infty \ge 0)とします。

  1. L∞=0L_\infty = 0 のとき、log⁡L=log⁡a−αlog⁡N\log L = \log a - \alpha \log N で、log⁡L\log L は log⁡N\log N の 1 次関数です。任意の c>0c > 0 について L(cN)=c−αL(N)L(cN) = c^{-\alpha} L(N) です。
  2. L∞=0L_\infty = 0 のとき、2 点 (N1,L1)(N_1, L_1)、(N2,L2)(N_2, L_2)(N1≠N2N_1 \ne N_2)から α=−log⁡(L2/L1)log⁡(N2/N1)\alpha = -\dfrac{\log(L_2 / L_1)}{\log(N_2 / N_1)} と決まります。
  3. L∞>0L_\infty > 0 のとき、両対数での傾きは dlog⁡Ldlog⁡N=−α(1−L∞L(N))\dfrac{d \log L}{d \log N} = -\alpha \Bigl(1 - \dfrac{L_\infty}{L(N)}\Bigr) で、NN とともに −α-\alpha から 00 へ変わります。log⁡L\log L は log⁡N\log N の 1 次関数ではありません。
  4. L∞L_\infty が未知のとき、2 点からは α\alpha は決まりません。等比に並んだ 3 点 N,cN,c2NN, cN, c^2 N(c>1c > 1)での値 L1,L2,L3L_1, L_2, L_3 からは
α=1log⁡clog⁡L1−L2L2−L3\alpha = \frac{1}{\log c} \log \frac{L_1 - L_2}{L_2 - L_3}

と決まります。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義

証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 2 問