情報科学 › LLM アーキテクチャ › 言語モデルの学習

パープレキシティ

定義 4.1(「言語モデルの学習」§4)

列 x∈Vnx \in V^n に対して、モデルが各位置の正解に割り当てた確率を qt=pθ(xt∣x<t)q_t = p_\theta(x_t \mid x_{<t}) とし、すべて正とします。平均負対数尤度を ℓ=−1n∑t=1nlog⁡qt\ell = -\frac{1}{n} \sum_{t=1}^{n} \log q_t とするとき、

PPL=exp⁡(ℓ)\mathrm{PPL} = \exp(\ell)

を、このモデルの xx に対するパープレキシティといいます。

本文で読む(前後の説明と例)→

閉包の状態

定義

定義は閉包の起点です(証明を要しません)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 2 問