平方和の分解と決定係数

$X$ の列に全成分 $1$ のベクトル $\boldsymbol{1}$ が含まれているとする。$\hat{\boldsymbol{y}} = X\hat{\boldsymbol{w}}$、$\hat{\boldsymbol{r}} = \boldsymbol{y}-\hat{\boldsymbol{y}}$、$\bar{y} = \frac{1}{n}\sum_i y_i$ とおくと、次が成り立つ。

1. $\sum_{i=1}^n \hat{r}_i = 0$、したがって $\frac{1}{n}\sum_i \hat{y}_i = \bar{y}$。
2. 平方和の分解

が成り立つ。とくに $S_{\mathrm{tot}} \ne 0$ のとき、決定係数 $R^2 = 1 - S_{\mathrm{res}}/S_{\mathrm{tot}}$ は $0 \le R^2 \le 1$ を満たす。