情報科学 › 機械学習の数学 › ロジスティック回帰

L2 正則化つき最尤推定の存在と一意性

定理 6.5（「ロジスティック回帰」§6） ・ ✓公理まで証明済み

λ>0\lambda > 0 とし、定義 4.1 の LL に対して

Lλ(w)=L(w)+λ2∥w∥2L_{\lambda}(\boldsymbol{w}) = L(\boldsymbol{w}) + \frac{\lambda}{2}\|\boldsymbol{w}\|^{2}

と置く。データ (xi,yi)i=1n(\boldsymbol{x}_i,y_i)_{i=1}^n には何の条件も課さない（分離可能でも、XX が列フルランクでなくてもよい）。このとき LλL_{\lambda} は Rd\mathbb{R}^{d} 上でただ一つの大域最小点 w^λ\hat{\boldsymbol{w}}_{\lambda} を持ち、それは方程式

XT(σ(Xw^λ)−y)+λ w^λ=0X^{\mathsf{T}}\bigl(\sigma(X\hat{\boldsymbol{w}}_{\lambda}) - \boldsymbol{y}\bigr) + \lambda\,\hat{\boldsymbol{w}}_{\lambda} = \boldsymbol{0}

の唯一の解である。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 17 件、定義なども含めて 22 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 4 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。