情報科学 › 機械学習の数学 › 勾配降下法

降下補題

補題 4.3（「勾配降下法」§4）・ ✓公理まで証明済み

$f : \mathbb{R}^n \to \mathbb{R}$ が $C^1$ 級かつ $L$ -平滑ならば、任意の $\boldsymbol{u}, \boldsymbol{v} \in \mathbb{R}^n$ に対して

f(\boldsymbol{v}) \le f(\boldsymbol{u}) + \langle \nabla f(\boldsymbol{u}),\ \boldsymbol{v} - \boldsymbol{u}\rangle + \frac{L}{2}\|\boldsymbol{v} - \boldsymbol{u}\|^2

が成り立ちます。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 0 件、定義なども含めて 1 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 1 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

L-平滑（勾配のリプシッツ連続性）定義 4.2・勾配降下法

これを使っている定理証明で参照している 2 件

クリッピングは方向を保ち、1 ステップの損失の増加を抑える✓命題 6.4・言語モデルの学習
1 ステップの減少量✓系 4.4・勾配降下法

関連するノック 1 問

機械学習の数学第 28 問