次トークン予測の損失の最小化は最尤推定である

定義 3.4 の設定で、すべての $\theta$ とすべての $m, t$ について $p_\theta(x^{(m)}_t \mid x^{(m)}_{<t}) > 0$ とします（softmax の出力ならつねに成り立ちます）。コーパスの尤度を $\mathrm{Lik}(\theta) = \prod_{m=1}^{M} p_\theta(x^{(m)})$ とします。

1. $\mathcal{L}(\theta) = -\dfrac{1}{T} \log \mathrm{Lik}(\theta)$ です。したがって $\mathcal{L}$ の最小点の集合と $\mathrm{Lik}$ の最大点の集合は一致します（どちらも空集合である場合を含みます）。
2. コーパスに現れた接頭辞 $c$ ごとに、その出現回数を $N_c$、直後のトークンが $v$ であった回数を $N_{c,v}$ とし、経験分布を $\hat{p}(v \mid c) = N_{c,v} / N_c$ とします。このとき

です。ここで $H(p, q) = -\sum_v p_v \log q_v$ は交差エントロピー（定義 5.1［数学を学び直す意義］）で、和はコーパスに現れた接頭辞の全体にわたります。 3. 1 つの位置の損失 $\ell = -\log \mathrm{softmax}(\boldsymbol{z})_y$ のロジットについての勾配は $\nabla_{\boldsymbol{z}} \ell = \mathrm{softmax}(\boldsymbol{z}) - \boldsymbol{e}_y$ です（$\boldsymbol{e}_y$ は正解 $y$ の one-hot ベクトル）。