情報科学 › 機械学習の数学 › ロジスティック回帰

交差エントロピー誤差の凸性

定理 6.1（「ロジスティック回帰」§6） ・ ✓公理まで証明済み

定理 5.1 と同じ設定のもとで、S(w)=diag⁡(μ1(1−μ1),…,μn(1−μn))S(\boldsymbol{w}) = \operatorname{diag}\bigl(\mu_1(1-\mu_1), \ldots, \mu_n(1-\mu_n)\bigr) と置くと

∇2L(w)=∑i=1nμi(1−μi) xixiT=XTS(w)X\nabla^{2} L(\boldsymbol{w}) = \sum_{i=1}^{n} \mu_i(1-\mu_i)\,\boldsymbol{x}_i\boldsymbol{x}_i^{\mathsf{T}} = X^{\mathsf{T}}S(\boldsymbol{w})X

が成り立つ。この行列はすべての w\boldsymbol{w} で半正定値であり、したがって LL は Rd\mathbb{R}^{d} 上の凸関数である。さらに rank⁡X=d\operatorname{rank} X = d（XX の列が線形独立）ならば ∇2L(w)≻O\nabla^{2}L(\boldsymbol{w}) \succ O がすべての w\boldsymbol{w} で成り立ち、LL は狭義凸である。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 2 件、定義なども含めて 2 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理 証明で参照している 2 件

関連するノック 3 問