勾配降下法の停留点への収束

$f : \mathbb{R}^n \to \mathbb{R}$ は $C^1$ 級かつ $L$-平滑で、下に有界とし、$f_\star = \inf_{\boldsymbol{w}} f(\boldsymbol{w}) > -\infty$ とします。定数学習率 $\eta = 1/L$ の勾配降下法 $\boldsymbol{w}_{k+1} = \boldsymbol{w}_k - \frac{1}{L}\nabla f(\boldsymbol{w}_k)$ について、次が成り立ちます。

1. 数列 $\bigl(f(\boldsymbol{w}_k)\bigr)_{k\ge 0}$ は単調非増加で、ある極限値に収束します。
2. 任意の $T \ge 1$ に対して $$\min_{0 \le k \le T-1}\bigl\|\nabla f(\boldsymbol{w}_k)\bigr\|^2 \ \le\ \frac{2L\bigl(f(\boldsymbol{w}_0) - f_\star\bigr)}{T}.$$
3. $\displaystyle\sum_{k=0}^{\infty}\bigl\|\nabla f(\boldsymbol{w}_k)\bigr\|^2 < \infty$。とくに $\|\nabla f(\boldsymbol{w}_k)\| \to 0$（$k \to \infty$）。