情報科学 › LLM アーキテクチャ › 言語モデルの学習

期待損失の下限はデータのエントロピー

命題 4.4（「言語モデルの学習」§4） ・ ✓公理まで証明済み

PP を VnV^n 上の確率分布（データの分布）、QQ を VnV^n 上の確率分布で、すべての xx で Q(x)>0Q(x) > 0 とします。XX が PP に従うとき、1 トークンあたりの損失 ℓ(X)=−1nlog⁡Q(X)\ell(X) = -\frac{1}{n} \log Q(X) とパープレキシティ PPL(X)=eℓ(X)\mathrm{PPL}(X) = e^{\ell(X)} について

E[ℓ(X)]=1nH(P,Q) ≥ 1nH(P),E[PPL(X)] ≥ exp⁡(E[ℓ(X)]) ≥ exp⁡(H(P)n)\mathbb{E}[\ell(X)] = \frac{1}{n} H(P, Q) \ \ge\ \frac{1}{n} H(P), \qquad \mathbb{E}[\mathrm{PPL}(X)] \ \ge\ \exp\bigl(\mathbb{E}[\ell(X)]\bigr) \ \ge\ \exp\Bigl(\frac{H(P)}{n}\Bigr)

が成り立ちます。ここで H(P)=−∑xP(x)log⁡P(x)H(P) = -\sum_x P(x) \log P(x) は PP のエントロピーです。最初の不等式の等号は Q=PQ = P のとき、かつそのときに限ります。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 2 件、定義なども含めて 3 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。