交差エントロピー誤差（負の対数尤度）

データ $(\boldsymbol{x}_i, y_i)_{i=1}^{n}$ と 定義 3.6 に対し、$\mu_i = \sigma(\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}_i)$ として

を交差エントロピー誤差、または負の対数尤度という。$0 < \mu_i < 1$（命題 3.2 (1)）なので対数は常に定義され、$L(\boldsymbol{w}) > 0$ である。