ガウス雑音のもとで最尤推定は最小二乗法に一致する

$\boldsymbol{x}_1,\ldots,\boldsymbol{x}_n\in\mathbb{R}^d$ を固定された（確率的でない）入力、$\sigma>0$ を既知の定数とし、観測値が

で生成されるとする。ここで $\varepsilon_1,\ldots,\varepsilon_n$ は独立に正規分布 $\mathcal{N}(0,\sigma^2)$ に従うとする。このとき $\boldsymbol{w}$ の最尤推定量の集合は、二乗損失 $L(\boldsymbol{w})=\frac{1}{2n}\|X\boldsymbol{w}-\boldsymbol{y}\|^2$ の最小点の集合と一致する。