ロジスティック回帰モデル

定義 3.6（「ロジスティック回帰」§3）

パラメータ $\boldsymbol{w} \in \mathbb{R}^{d}$ に対し、特徴 $\boldsymbol{x} \in \mathbb{R}^{d}$ を与えたときのラベル $y \in \{0,1\}$ の条件付き分布を

P(y = 1 \mid \boldsymbol{x};\boldsymbol{w}) = \sigma(\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}), \qquad P(y = 0 \mid \boldsymbol{x};\boldsymbol{w}) = 1 - \sigma(\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x})

で定めるモデルをロジスティック回帰モデルという。 $z = \boldsymbol{w}^{\mathsf{T}}\boldsymbol{x}$ をロジットまたはスコア、 $\mu = \sigma(z)$ を予測確率と呼ぶ。2 つの式はまとめて

P(y \mid \boldsymbol{x};\boldsymbol{w}) = \mu^{y}(1-\mu)^{1-y}, \qquad \mu = \sigma(\boldsymbol{w}^{\mathsf{T}}\boldsymbol{x})

と書ける（ $y=1$ を代入すれば $\mu$ 、 $y=0$ を代入すれば $1-\mu$ になる）。すなわち $y$ は成功確率 $\mu$ のベルヌーイ分布に従う。

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

証明で明示的に参照している定理は、まだありません。