情報科学 › AI時代の生存戦略 › 数学を学び直す意義

交差エントロピーと KL ダイバージェンス

定義 5.1（「数学を学び直す意義」§5）

有限集合 X\mathcal{X} 上の確率分布 p=(px)x∈Xp = (p_x)_{x\in\mathcal{X}}, q=(qx)x∈Xq = (q_x)_{x\in\mathcal{X}} に対し、

H(p)=−∑xpxlog⁡px,H(p,q)=−∑xpxlog⁡qx,D(p ∥ q)=∑xpxlog⁡pxqxH(p) = -\sum_{x} p_x\log p_x, \qquad H(p,q) = -\sum_{x} p_x \log q_x, \qquad D(p\,\|\,q) = \sum_{x} p_x\log\frac{p_x}{q_x}

をそれぞれエントロピー、交差エントロピー、KL ダイバージェンスと呼ぶ。px=0p_x = 0 の項は 00 と約束し、px>0p_x > 0 かつ qx=0q_x = 0 の場合は D(p∥q)=+∞D(p\|q) = +\infty とする。対数の底は ee（単位は nat）とする。定義から直ちに H(p,q)=H(p)+D(p∥q)H(p,q) = H(p) + D(p\|q) が成り立つ。

本文で読む（前後の説明と例）→

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理 証明で参照している 1 件

関連するノック 4 問