最尤推定

パラメータ $\boldsymbol{\theta}$ を持つ確率モデル $p(\cdot\mid\boldsymbol{\theta})$ と観測データ $\boldsymbol{y}$ に対し、$\boldsymbol{\theta}$ の関数とみた $\boldsymbol{\theta}\mapsto p(\boldsymbol{y}\mid\boldsymbol{\theta})$ を尤度関数という。尤度関数を最大にする $\hat{\boldsymbol{\theta}}$ を最尤推定量という。対数関数は狭義単調増加なので、これは対数尤度 $\log p(\boldsymbol{y}\mid\boldsymbol{\theta})$ の最大化、あるいは負の対数尤度の最小化と同値である。