二次関数に対する勾配降下法

$A \in \mathbb{R}^{n\times n}$ を対称正定値行列、$\boldsymbol{b} \in \mathbb{R}^n$ とし、

とします。$A$ の固有値を $0 < \lambda_1 \le \lambda_2 \le \cdots \le \lambda_n$、条件数を $\kappa = \lambda_n/\lambda_1$、最小点を $\boldsymbol{w}_\star = A^{-1}\boldsymbol{b}$ とします。定数学習率 $\eta > 0$ の勾配降下法 $\boldsymbol{w}_{k+1} = \boldsymbol{w}_k - \eta\nabla f(\boldsymbol{w}_k)$ について次が成り立ちます。

1. $\boldsymbol{w}_k - \boldsymbol{w}_\star = (I - \eta A)^k(\boldsymbol{w}_0 - \boldsymbol{w}_\star)$。
2. $\rho(\eta) = \max\bigl(|1-\eta\lambda_1|,\ |1-\eta\lambda_n|\bigr)$ とおくと $\|\boldsymbol{w}_k - \boldsymbol{w}_\star\| \le \rho(\eta)^k\|\boldsymbol{w}_0 - \boldsymbol{w}_\star\|$ であり、さらにすべての初期値 $\boldsymbol{w}_0$ について $\boldsymbol{w}_k \to \boldsymbol{w}_\star$ となるのは $0 < \eta < 2/\lambda_n$ のとき、かつそのときに限ります。
3. $\rho(\eta)$ を最小にする学習率は $\eta_\star = \dfrac{2}{\lambda_1 + \lambda_n}$ で、そのときの値は