正規方程式

$X \in \mathbb{R}^{n\times p}$、$\boldsymbol{y} \in \mathbb{R}^n$ とし、$L(\boldsymbol{w}) = \lVert \boldsymbol{y} - X\boldsymbol{w}\rVert^2$ とする。$\hat{\boldsymbol{w}} \in \mathbb{R}^p$ について、次の 2 条件は同値である。

1. $\hat{\boldsymbol{w}}$ は $L$ を $\mathbb{R}^p$ 上で最小にする、すなわちすべての $\boldsymbol{w} \in \mathbb{R}^p$ に対し $L(\hat{\boldsymbol{w}}) \le L(\boldsymbol{w})$。
2. $\hat{\boldsymbol{w}}$ は正規方程式 $X^{\mathsf{T}}X\hat{\boldsymbol{w}} = X^{\mathsf{T}}\boldsymbol{y}$ を満たす。

さらにこのとき、任意の $\boldsymbol{w} \in \mathbb{R}^p$ に対して恒等式

が成り立ち、最小二乗解の全体は $\hat{\boldsymbol{w}} + \operatorname{Ker} X = \{\hat{\boldsymbol{w}} + \boldsymbol{v} : X\boldsymbol{v} = \boldsymbol{0}\}$ と一致する。