勾配降下法

$f : \mathbb{R}^n \to \mathbb{R}$ を $C^1$ 級とし、初期値 $\boldsymbol{w}_0 \in \mathbb{R}^n$ と正の数列 $(\eta_k)_{k\ge 0}$ を与えます。

で定まる点列 $(\boldsymbol{w}_k)$ を求める手続きを勾配降下法（最急降下法）と呼び、$\eta_k$ を学習率（ステップ幅）と呼びます。$\eta_k = \eta$ が $k$ によらないとき、定数学習率であるといいます。