ハット行列

命題 4.3（「線形回帰と最小二乗法」§4）・ ✓公理まで証明済み

$X \in \mathbb{R}^{n\times p}$ が $\operatorname{rank}X = p$ を満たすとする（このとき系 5.2 により $X^{\mathsf{T}}X$ は正則）。

P = X(X^{\mathsf{T}}X)^{-1}X^{\mathsf{T}} \in \mathbb{R}^{n\times n}

とおくと、次が成り立つ。

$P^{\mathsf{T}} = P$ かつ $P^2 = P$ （対称冪等）。
任意の $\boldsymbol{y}\in\mathbb{R}^n$ に対し $P\boldsymbol{y}$ は $\boldsymbol{y}$ の $\operatorname{Im}X$ への直交射影であり、 $P\boldsymbol{y} = X\hat{\boldsymbol{w}}$ 。
$I_n - P$ は $(\operatorname{Im}X)^{\perp} = \operatorname{Ker}X^{\mathsf{T}}$ への直交射影であり、残差は $\hat{\boldsymbol{r}} = (I_n - P)\boldsymbol{y}$ 。
$\operatorname{tr} P = p$ 。

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 3 件、定義なども含めて 4 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

最小二乗解の存在と射影表示✓定理 4.2・線形回帰と最小二乗法
- 列空間の直交補空間✓補題 4.1・線形回帰と最小二乗法
- 正規方程式✓定理 3.3・線形回帰と最小二乗法
- ピタゴラスの定理と平行四辺形則注意 4.5・内積空間とグラム・シュミット直交化
列空間の直交補空間✓補題 4.1・線形回帰と最小二乗法

証明で明示的に参照している定理は、まだありません。