最小二乗解の存在と射影表示

$X \in \mathbb{R}^{n\times p}$、$\boldsymbol{y}\in\mathbb{R}^n$ を任意とする。このとき次が成り立つ。

1. 正規方程式 $X^{\mathsf{T}}X\boldsymbol{w} = X^{\mathsf{T}}\boldsymbol{y}$ は少なくとも 1 つの解を持つ。とくに最小二乗解は必ず存在する。
2. $\hat{\boldsymbol{w}}$ を任意の最小二乗解とするとき、$X\hat{\boldsymbol{w}}$ は $\boldsymbol{y}$ の部分空間 $\operatorname{Im}X$ への直交射影に一致する。とくに $X\hat{\boldsymbol{w}}$ は最小二乗解の取り方によらず一意に定まる。
3. $\hat{\boldsymbol{y}} = X\hat{\boldsymbol{w}}$ は、$\operatorname{Im}X$ の元のうち $\boldsymbol{y}$ に最も近い唯一の点である。すなわち $\boldsymbol{z} \in \operatorname{Im}X$、$\boldsymbol{z} \ne \hat{\boldsymbol{y}}$ ならば $\lVert \boldsymbol{y}-\boldsymbol{z}\rVert > \lVert \boldsymbol{y}-\hat{\boldsymbol{y}}\rVert$。