線形分離可能なら最尤推定量は存在しない

定理 6.3（「ロジスティック回帰」§6）・ ✓公理まで証明済み

データ $(\boldsymbol{x}_i, y_i)_{i=1}^{n}$ （ $n \ge 1$ ）が狭義に線形分離可能であるとする。すなわち、あるベクトル $\boldsymbol{v}\in\mathbb{R}^{d}$ が存在して

y_i = 1 \implies \boldsymbol{x}_i^{\mathsf{T}}\boldsymbol{v} > 0, \qquad y_i = 0 \implies \boldsymbol{x}_i^{\mathsf{T}}\boldsymbol{v} < 0

がすべての $i$ で成り立つとする。このとき定義 4.1 の $L$ について

\inf_{\boldsymbol{w}\in\mathbb{R}^{d}} L(\boldsymbol{w}) = 0

であるが、この下限は達成されない。さらに $L(\boldsymbol{w}_k)\to 0$ を満たす任意の点列 $(\boldsymbol{w}_k)$ は $\|\boldsymbol{w}_k\| \to \infty$ を満たす。

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 2 件、定義なども含めて 3 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。