情報科学 › LLM アーキテクチャ › 言語モデルの学習

Vaswani らのスケジュールの形

命題 6.2（「言語モデルの学習」§6）・ ✓公理まで証明済み

$d, w > 0$ とし、 $\eta(t) = d^{-1/2} \min(t^{-1/2}, t\, w^{-3/2})$ （ $t > 0$ ）とします。

$0 < t \le w$ では $\eta(t) = d^{-1/2} w^{-3/2}\, t$ （ $t$ の 1 次式で狭義単調増加）、 $t \ge w$ では $\eta(t) = d^{-1/2} t^{-1/2}$ （狭義単調減少）です。
$\eta$ は $t > 0$ で連続で、 $t = w$ でただ 1 つの最大値 $\eta(w) = (d\, w)^{-1/2}$ を取ります。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 12 件、定義なども含めて 16 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 1 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

導関数の符号と単調性✓系 3.4・平均値の定理とテイラーの定理
- ラグランジュの平均値の定理✓定理 3.3・平均値の定理とテイラーの定理
  - ロルの定理✓定理 3.1・平均値の定理とテイラーの定理
    最大値・最小値の定理✓定理 2.3・平均値の定理とテイラーの定理この先をたどる →
    極大・極小定義 2.1・平均値の定理とテイラーの定理
    フェルマーの補題✓補題 2.5・平均値の定理とテイラーの定理この先をたどる →

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 1 問

LLM アーキテクチャ第 31 問