1 ステップの減少量

$f$ が $C^1$ 級かつ $L$-平滑とし、$\boldsymbol{w}' = \boldsymbol{w} - \eta\nabla f(\boldsymbol{w})$ とします。このとき

が成り立ちます。とくに $\nabla f(\boldsymbol{w}) \ne \boldsymbol{0}$ かつ $0 < \eta < 2/L$ ならば $f(\boldsymbol{w}') < f(\boldsymbol{w})$ です。また右辺の減少量 $\eta(1 - L\eta/2)\|\nabla f(\boldsymbol{w})\|^2$ は $\eta = 1/L$ のとき最大で、その値は $\dfrac{1}{2L}\|\nabla f(\boldsymbol{w})\|^2$ です。