確率的勾配降下法とミニバッチ

定義 7.1（「勾配降下法」§7）

目的関数が $C^1$ 級関数の平均

f(\boldsymbol{w}) = \frac{1}{N}\sum_{i=1}^{N} f_i(\boldsymbol{w})

の形をしているとします。各反復 $k$ で添字 $i_k$ を $\{1,\ldots,N\}$ から一様ランダムに（毎回独立に）選び、

\boldsymbol{w}_{k+1} = \boldsymbol{w}_k - \eta_k \nabla f_{i_k}(\boldsymbol{w}_k)

と更新する方法を確率的勾配降下法（SGD）と呼びます。より一般に、 $B$ 個の添字 $i_{k,1},\ldots,i_{k,B}$ を独立一様に選び、

\boldsymbol{g}_B(\boldsymbol{w}_k) = \frac{1}{B}\sum_{j=1}^{B}\nabla f_{i_{k,j}}(\boldsymbol{w}_k), \qquad \boldsymbol{w}_{k+1} = \boldsymbol{w}_k - \eta_k\,\boldsymbol{g}_B(\boldsymbol{w}_k)

とする方法をミニバッチ勾配降下法と呼び、 $B$ をバッチサイズといいます。 $B = 1$ が SGD、 $B = N$ （かつ非復元抽出）が通常の勾配降下法にあたります。

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

証明で明示的に参照している定理は、まだありません。