次トークン予測の損失と教師強制

定義 3.4（「言語モデルの学習」§3）

コーパスを列の有限の集まり $x^{(1)}, \ldots, x^{(M)}$ （ $x^{(m)} \in V^{n_m}$ ）とし、総トークン数を $T = \sum_{m} n_m$ とします。

\mathcal{L}(\theta) = -\frac{1}{T} \sum_{m=1}^{M} \sum_{t=1}^{n_m} \log p_\theta\bigl(x^{(m)}_t \mid x^{(m)}_{<t}\bigr)

を次トークン予測の損失（平均負対数尤度）といいます。各位置の条件には、モデル自身が出力したトークンではなく、コーパスにある正しい接頭辞 $x^{(m)}_{<t}$ を入れます。これを教師強制といいます。

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

証明で明示的に参照している定理は、まだありません。