情報科学 › LLM アーキテクチャ › スケーリングと文脈
べき則のもとでの最適配分
、、 とし、損失が
の形であるとします。制約 のもとで を最小にする はただ 1 つ存在し、
です。このとき次が成り立ちます。
- 最適点では です。
- 最小値は で、 は について指数 のべき則です。
- なら と はともに に比例します。予算を 倍にすると、モデルもデータも 倍にするのが最適です。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 13 件、定義なども含めて 18 件)。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義(直接 3 件)
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
導関数の符号と単調性✓系 3.4・平均値の定理とテイラーの定理
ラグランジュの平均値の定理✓定理 3.3・平均値の定理とテイラーの定理
ロルの定理✓定理 3.1・平均値の定理とテイラーの定理
- 最大値・最小値の定理✓定理 2.3・平均値の定理とテイラーの定理 この先をたどる →
- 極大・極小定義 2.1・平均値の定理とテイラーの定理
- フェルマーの補題✓補題 2.5・平均値の定理とテイラーの定理(上で展開済み)
- 凸関数定義 4.1・なぜ機械学習に数学が必要か
凸関数では停留点と大域最小点が一致する✓定理 4.2・なぜ機械学習に数学が必要か
- 凸関数定義 4.1・なぜ機械学習に数学が必要か
これを使っている定理
証明で明示的に参照している定理は、まだありません。