情報科学 › LLM アーキテクチャ › スケーリングと文脈

べき則のもとでの最適配分

定理 8.2(「スケーリングと文脈」§8) ・ ✓公理まで証明済み

A,B,α,β>0A, B, \alpha, \beta > 0、E≥0E \ge 0、C>0C > 0 とし、損失が

L(N,D)=E+AN−α+BD−β(N,D>0)L(N, D) = E + A N^{-\alpha} + B D^{-\beta} \qquad (N, D > 0)

の形であるとします。制約 ND=CND = C のもとで LL を最小にする (N,D)(N, D) はただ 1 つ存在し、

N⋆=G Cβα+β,D⋆=G−1Cαα+β,G=(αAβB)1α+βN^{\star} = G\, C^{\frac{\beta}{\alpha + \beta}}, \qquad D^{\star} = G^{-1} C^{\frac{\alpha}{\alpha + \beta}}, \qquad G = \Bigl(\frac{\alpha A}{\beta B}\Bigr)^{\frac{1}{\alpha + \beta}}

です。このとき次が成り立ちます。

  1. 最適点では αA(N⋆)−α=βB(D⋆)−β\alpha A (N^{\star})^{-\alpha} = \beta B (D^{\star})^{-\beta} です。
  2. 最小値は L⋆(C)=E+(1+αβ)A G−α C−αβα+βL^{\star}(C) = E + \Bigl(1 + \dfrac{\alpha}{\beta}\Bigr) A\, G^{-\alpha}\, C^{-\frac{\alpha\beta}{\alpha+\beta}} で、L⋆−EL^{\star} - E は CC について指数 αβα+β\dfrac{\alpha\beta}{\alpha+\beta} のべき則です。
  3. α=β\alpha = \beta なら N⋆N^{\star} と D⋆D^{\star} はともに C\sqrt{C} に比例します。予算を 44 倍にすると、モデルもデータも 22 倍にするのが最適です。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 13 件、定義なども含めて 18 件)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義(直接 3 件)

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 1 問