情報科学 › LLM アーキテクチャ › 言語モデルの学習
パープレキシティ
列 に対して、モデルが各位置の正解に割り当てた確率を とし、すべて正とします。平均負対数尤度を とするとき、
を、このモデルの に対するパープレキシティといいます。
閉包の状態
定義
定義は閉包の起点です(証明を要しません)。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
これを使っている定理
証明で明示的に参照している定理は、まだありません。
情報科学 › LLM アーキテクチャ › 言語モデルの学習
列 に対して、モデルが各位置の正解に割り当てた確率を とし、すべて正とします。平均負対数尤度を とするとき、
を、このモデルの に対するパープレキシティといいます。
定義
定義は閉包の起点です(証明を要しません)。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
証明で明示的に参照している定理は、まだありません。