情報科学 › 機械学習の数学 › 勾配降下法

全微分可能性と勾配

定義 2.1（「勾配降下法」§2）

U⊂RnU \subset \mathbb{R}^n を開集合、f:U→Rf : U \to \mathbb{R}、w∈U\boldsymbol{w} \in U とします。あるベクトル g∈Rn\boldsymbol{g} \in \mathbb{R}^n が存在して

f(w+h)=f(w)+⟨g,h⟩+r(h),lim⁡h→0r(h)∥h∥=0f(\boldsymbol{w} + \boldsymbol{h}) = f(\boldsymbol{w}) + \langle \boldsymbol{g}, \boldsymbol{h}\rangle + r(\boldsymbol{h}), \qquad \lim_{\boldsymbol{h}\to\boldsymbol{0}}\frac{r(\boldsymbol{h})}{\|\boldsymbol{h}\|} = 0

が成り立つとき、ff は w\boldsymbol{w} で全微分可能であるといい、g\boldsymbol{g} を ff の w\boldsymbol{w} における勾配と呼んで ∇f(w)\nabla f(\boldsymbol{w}) と書きます。ここで ⟨⋅,⋅⟩\langle \cdot,\cdot\rangle は Rn\mathbb{R}^n の標準内積、∥⋅∥\|\cdot\| はそれが定めるユークリッドノルムです。

このとき g\boldsymbol{g} は一意に定まり、その第 jj 成分は偏微分係数 ∂f/∂wj(w)\partial f/\partial w_j(\boldsymbol{w}) に一致します。すなわち

∇f(w)=(∂f∂w1(w), …, ∂f∂wn(w))T.\nabla f(\boldsymbol{w}) = \left(\frac{\partial f}{\partial w_1}(\boldsymbol{w}),\ \ldots,\ \frac{\partial f}{\partial w_n}(\boldsymbol{w})\right)^{\mathsf{T}}.

本文で読む（前後の説明と例）→

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理 証明で参照している 1 件

関連するノック 1 問