事前学習と微調整

定義 8.1（「言語モデルの学習」§8）

大きなコーパスで次トークン予測の損失を最小化する学習を事前学習、その結果の重み $\theta_0$ を初期値として、別の（ふつうはずっと小さい）データで学習を続けることを微調整といいます。すべての重みを更新する微調整を全体の微調整といいます。

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

証明で明示的に参照している定理は、まだありません。