情報科学 › LLM アーキテクチャ › スケーリングと文脈

べき則

定義 7.2(「スケーリングと文脈」§7)

定数 a>0a > 0、α>0\alpha > 0、L∞≥0L_\infty \ge 0 に対して

L(N)=aN−α+L∞(N>0)L(N) = a N^{-\alpha} + L_\infty \qquad (N > 0)

の形の関数を、指数 α\alpha のべき則といい、L∞L_\infty を還元できない損失と呼びます。N→∞N \to \infty で L(N)→L∞L(N) \to L_\infty です。

本文で読む(前後の説明と例)→

閉包の状態

定義

定義は閉包の起点です(証明を要しません)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 2 問