共役勾配法の直交性と最適性

$\boldsymbol{r}_0, \ldots, \boldsymbol{r}_{k-1}$ がすべて $\boldsymbol{0}$ でないとする。このとき $\boldsymbol{x}_k$, $\boldsymbol{r}_k$ まで定義され（分母は正）、次が成り立つ。

1. $\boldsymbol{r}_j = \boldsymbol{b} - A\boldsymbol{x}_j$（$j \le k$）。
2. $\boldsymbol{r}_i^{*}\boldsymbol{r}_j = 0$（$0 \le i < j \le k$）、$\boldsymbol{p}_i^{*}A\boldsymbol{p}_j = 0$（$0 \le i < j \le k - 1$）。
3. $\operatorname{span}\{\boldsymbol{r}_0, \ldots, \boldsymbol{r}_{k-1}\} = \operatorname{span}\{\boldsymbol{p}_0, \ldots, \boldsymbol{p}_{k-1}\} = \mathcal{K}_k(A, \boldsymbol{r}_0)$ で、その次元は $k$ である。
4. $\boldsymbol{x}_k \in \boldsymbol{x}_0 + \mathcal{K}_k(A, \boldsymbol{r}_0)$ であり、$\boldsymbol{x}_k$ は $\boldsymbol{x}_0 + \mathcal{K}_k(A, \boldsymbol{r}_0)$ の中で $\|\boldsymbol{x} - \boldsymbol{x}^{*}\|_A$ を最小にするただ 1 つの点である。同じことだが、$\boldsymbol{r}_k \perp \mathcal{K}_k(A, \boldsymbol{r}_0)$ である。