線形モデル

$n$ 個の観測 $y\in\mathbb R^n$ が

で与えられるとする。$X$ は既知の $n\times p$ 計画行列で、列は 1 次独立（フルランク、$p\le n$）、$\beta\in\mathbb R^p$ は未知の係数、$\sigma^2>0$ は未知の誤差分散である。最小二乗推定量は $\|y-X\beta\|^2$ を最小にする $\hat\beta$ 、残差平方和は $\mathrm{RSS}=\|y-X\hat\beta\|^2$ である。