自己回帰言語モデル

各 $t = 1, \ldots, n$ と各接頭辞 $x_{<t} \in V^{t-1}$ に対して、$V$ 上の確率分布 $p_\theta(\cdot \mid x_{<t})$（各 $v \in V$ で $p_\theta(v \mid x_{<t}) \ge 0$、$\sum_{v \in V} p_\theta(v \mid x_{<t}) = 1$）を定める規則を、長さ $n$ の自己回帰言語モデルといいます。これに対して列 $x \in V^n$ の確率を

で定めます。