情報科学 › 機械学習の数学 › 勾配降下法

最急降下方向

定理 3.2（「勾配降下法」§3） ・ ✓公理まで証明済み

ff は w\boldsymbol{w} で全微分可能で ∇f(w)≠0\nabla f(\boldsymbol{w}) \ne \boldsymbol{0} とします。u\boldsymbol{u} が Rn\mathbb{R}^n の単位ベクトル全体を動くとき、

Duf(w) ≥ −∥∇f(w)∥D_{\boldsymbol{u}}f(\boldsymbol{w}) \ \ge\ -\|\nabla f(\boldsymbol{w})\|

が常に成り立ち、等号が成立するのは

u=−∇f(w)∥∇f(w)∥\boldsymbol{u} = -\frac{\nabla f(\boldsymbol{w})}{\|\nabla f(\boldsymbol{w})\|}

のとき、かつそのときに限ります。すなわち ff を最も速く減少させる単位方向はただ一つ存在し、それは勾配の逆向きです。同様に Duf(w)≤∥∇f(w)∥D_{\boldsymbol{u}}f(\boldsymbol{w}) \le \|\nabla f(\boldsymbol{w})\| で、等号は u=∇f(w)/∥∇f(w)∥\boldsymbol{u} = \nabla f(\boldsymbol{w})/\|\nabla f(\boldsymbol{w})\| のときに限ります。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 1 件、定義なども含めて 2 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 1 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 2 問