交差エントロピー誤差の勾配

$\boldsymbol{x}_1,\ldots,\boldsymbol{x}_n \in \mathbb{R}^{d}$、$y_1,\ldots,y_n \in \{0,1\}$ を任意に固定し、$L$ を 定義 4.1 の交差エントロピー誤差、$\mu_i(\boldsymbol{w}) = \sigma(\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}_i)$ とする。このとき $L$ は $\mathbb{R}^{d}$ 上 $C^{\infty}$ 級であり、

が成り立つ。ここで $X$ は第 $i$ 行が $\boldsymbol{x}_i^{\mathsf{T}}$ の $n\times d$ 計画行列、$\boldsymbol{\mu}(\boldsymbol{w}) = (\mu_1,\ldots,\mu_n)^{\mathsf{T}}$ である。