情報科学 › LLM アーキテクチャ › 言語モデルの学習

クリッピングは方向を保ち、1 ステップの損失の増加を抑える

命題 6.4（「言語モデルの学習」§6） ・ ✓公理まで証明済み

c>0c > 0 とします。

  1. clipc(g)\mathrm{clip}_c(\boldsymbol{g}) は g\boldsymbol{g} の非負の定数倍で、∥clipc(g)∥=min⁡(∥g∥,c)≤c\|\mathrm{clip}_c(\boldsymbol{g})\| = \min(\|\boldsymbol{g}\|, c) \le c です。∥g∥≤c\|\boldsymbol{g}\| \le c なら clipc(g)=g\mathrm{clip}_c(\boldsymbol{g}) = \boldsymbol{g} です。
  2. f:RP→Rf : \mathbb{R}^P \to \mathbb{R} を C1C^1 級で LL-平滑（定義 4.2［勾配降下法］）とします。任意のベクトル g^\hat{\boldsymbol{g}}（真の勾配でなくてもかまいません）で θ′=θ−η clipc(g^)\theta' = \theta - \eta\, \mathrm{clip}_c(\hat{\boldsymbol{g}}) と更新すると
f(θ′)≤f(θ)+η c ∥∇f(θ)∥+L2η2c2f(\theta') \le f(\theta) + \eta\, c\, \|\nabla f(\theta)\| + \frac{L}{2} \eta^2 c^2

です。 3. 2 でとくに g^=∇f(θ)≠0\hat{\boldsymbol{g}} = \nabla f(\theta) \ne \boldsymbol{0} とし、s=min⁡(1,c/∥∇f(θ)∥)s = \min(1, c / \|\nabla f(\theta)\|) とおくと

f(θ′)≤f(θ)−η s(1−Lηs2)∥∇f(θ)∥2f(\theta') \le f(\theta) - \eta\, s \Bigl(1 - \frac{L \eta s}{2}\Bigr) \|\nabla f(\theta)\|^2

で、0<η<2/L0 < \eta < 2/L なら f(θ′)<f(θ)f(\theta') < f(\theta) です。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 2 件、定義なども含めて 3 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。