情報科学 › 機械学習の数学 › 線形回帰と最小二乗法

最小二乗問題

定義 3.1（「線形回帰と最小二乗法」§3）

X∈Rn×pX \in \mathbb{R}^{n \times p}、y∈Rn\boldsymbol{y} \in \mathbb{R}^n に対し、残差ベクトルを r(w)=y−Xw\boldsymbol{r}(\boldsymbol{w}) = \boldsymbol{y} - X\boldsymbol{w}、二乗和誤差（残差平方和）を

L(w)=∥y−Xw∥2=∑i=1n(yi−(Xw)i)2L(\boldsymbol{w}) = \lVert \boldsymbol{y} - X\boldsymbol{w}\rVert^2 = \sum_{i=1}^{n} \bigl(y_i - (X\boldsymbol{w})_i\bigr)^2

と定める。LL を Rp\mathbb{R}^p 全体で最小にする w\boldsymbol{w}、すなわち

w^∈arg min⁡w∈Rp∥y−Xw∥2\hat{\boldsymbol{w}} \in \operatorname*{arg\,min}_{\boldsymbol{w} \in \mathbb{R}^{p}} \lVert \boldsymbol{y} - X\boldsymbol{w}\rVert^2

を満たす w^\hat{\boldsymbol{w}} を最小二乗解という。

本文で読む（前後の説明と例）→

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。