ロジスティック損失の勾配・ヘッセ行列・平滑性

上の $f$ について次が成り立ちます。

1. $f$ は $\mathbb{R}^n$ 上で $C^\infty$ 級で、 $$\nabla f(\boldsymbol{w}) = \frac{1}{N}\sum_{i=1}^{N}\bigl(p_i(\boldsymbol{w}) - y_i\bigr)\boldsymbol{x}_i = \frac{1}{N}X^{\mathsf{T}}\bigl(\boldsymbol{p}(\boldsymbol{w}) - \boldsymbol{y}\bigr).$$
2. ヘッセ行列は $S(\boldsymbol{w}) = \mathrm{diag}\bigl(p_1(1-p_1), \ldots, p_N(1-p_N)\bigr)$ を使って $$\nabla^2 f(\boldsymbol{w}) = \frac{1}{N}\sum_{i=1}^{N} p_i(1-p_i)\,\boldsymbol{x}_i\boldsymbol{x}_i^{\mathsf{T}} = \frac{1}{N}X^{\mathsf{T}}S(\boldsymbol{w})X$$ と書け、これは任意の $\boldsymbol{w}$ で半正定値です。したがって $f$ は凸関数で、停留点はすべて大域最小点です。
3. $f$ は $L$-平滑で、定数として $L = \dfrac{\lambda_{\max}(X^{\mathsf{T}}X)}{4N}$ が取れます。