最小二乗問題

$\|A\boldsymbol{x}-\boldsymbol{b}\|$ を最小にする $\boldsymbol{x}\in\mathbb{K}^n$ を最小二乗解といい、$\boldsymbol{r}=\boldsymbol{b}-A\boldsymbol{x}$ をその残差という。$A^{*}A\boldsymbol{x}=A^{*}\boldsymbol{b}$ を正規方程式という。