残差と誤差

$A$ を $n$ 次の正則な実行列、$\boldsymbol{b} \ne \boldsymbol{0}$、$A\boldsymbol{x} = \boldsymbol{b}$ とし、$\boldsymbol{y} \in \mathbb{R}^n$ の残差を $\boldsymbol{r} = \boldsymbol{b} - A\boldsymbol{y}$ とする。ベクトルのノルムを 1 つ固定し、行列にはその誘導ノルムを使い、$\kappa(A) = \|A\|\,\|A^{-1}\|$ とする。

1. $\dfrac{\|\boldsymbol{y} - \boldsymbol{x}\|}{\|\boldsymbol{x}\|} \le \kappa(A)\,\dfrac{\|\boldsymbol{r}\|}{\|\boldsymbol{b}\|}$。
2. この不等式で等号が成り立つ例がある。2 ノルムで、$0 \lt \epsilon \le 1$、$A = \begin{pmatrix}1 & 0\\ 0 & \epsilon\end{pmatrix}$、$\boldsymbol{b} = \begin{pmatrix}1\\ 0\end{pmatrix}$、$\boldsymbol{y} = \begin{pmatrix}1\\ 1\end{pmatrix}$ とすると、相対残差は $\epsilon$、相対誤差は $1$、$\kappa_2(A) = 1/\epsilon$ である。