降下補題と 1 ステップの減少量

$f:\mathbb{R}^n\to\mathbb{R}$ は微分可能で $L$-平滑とする。このとき、すべての $\boldsymbol{x},\boldsymbol{y}$ に対し

が成り立つ。とくに $\boldsymbol{y} = \boldsymbol{x} - \eta\nabla f(\boldsymbol{x})$ とおくと

となる。したがって $\nabla f(\boldsymbol{x}) \ne \boldsymbol{0}$ かつ $0 < \eta < 2/L$ ならば $f(\boldsymbol{y}) < f(\boldsymbol{x})$ であり、$\eta = 1/L$ のとき右辺の減少量の係数 $\eta(1-L\eta/2)$ は最大値 $1/(2L)$ を取る。