情報科学 › LLM アーキテクチャ › スケーリングと文脈
べき則の性質と指数の決定
命題 7.3(「スケーリングと文脈」§7) ・ ✓公理まで証明済み
L(N)=aN−α+L∞(a,α>0、L∞≥0)とします。
- L∞=0 のとき、logL=loga−αlogN で、logL は logN の 1 次関数です。任意の c>0 について L(cN)=c−αL(N) です。
- L∞=0 のとき、2 点 (N1,L1)、(N2,L2)(N1=N2)から α=−log(N2/N1)log(L2/L1) と決まります。
- L∞>0 のとき、両対数での傾きは dlogNdlogL=−α(1−L(N)L∞) で、N とともに −α から 0 へ変わります。logL は logN の 1 次関数ではありません。
- L∞ が未知のとき、2 点からは α は決まりません。等比に並んだ 3 点 N,cN,c2N(c>1)での値 L1,L2,L3 からは
α=logc1logL2−L3L1−L2と決まります。
本文で読む(証明と前後の説明)→
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義
証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。
これを使っている定理
証明で明示的に参照している定理は、まだありません。
関連するノック 2 問