尤度・対数尤度・スコア・最尤推定量

観測 $x=(x_1,\dots,x_n)$ に対し、尤度関数を $L_n(\theta)=\prod_{i=1}^nf(x_i;\theta)$、対数尤度を $\ell_n(\theta)=\sum_i\log f(x_i;\theta)$ とする。スコア関数は $s(x;\theta)=\partial_\theta\log f(x;\theta)$、標本全体のスコアは $\ell_n'(\theta)=\sum_is(x_i;\theta)$。$L_n$（または $\ell_n$）を最大にする $\hat\theta_n=\hat\theta_n(x)$ を最尤推定量（MLE）といい、微分可能な場合は尤度方程式 $\ell_n'(\theta)=0$ の根として求める。