計画行列と線形回帰モデル

$n$ 個の観測 $(\boldsymbol{x}_i, y_i)$、$\boldsymbol{x}_i = (x_{i1}, \dots, x_{id})^{\mathsf{T}} \in \mathbb{R}^d$、$y_i \in \mathbb{R}$ に対し、$p = d + 1$ とおき

とする。$X$ を計画行列（design matrix）という。第 1 列は全成分が $1$ のベクトル $\boldsymbol{1}$ である。パラメータを $\boldsymbol{w} = (b, w_1, \dots, w_d)^{\mathsf{T}} \in \mathbb{R}^{p}$ とすると、$n$ 個の予測値はまとめて $X\boldsymbol{w} \in \mathbb{R}^n$ と書ける。これを線形回帰モデルという。