自己回帰の積は列の上の確率分布であり、任意の同時分布はこの形に書ける

$V$ を有限集合、$n \ge 1$ とします。

1. 定義 3.1 の $p_\theta(x)$ は $V^n$ 上の確率分布です。すなわち、すべての $x$ で $p_\theta(x) \ge 0$ で、$\sum_{x \in V^n} p_\theta(x) = 1$ です。さらに、この分布に従う確率変数の列 $(X_1, \ldots, X_n)$ について、$P(X_{<t} = x_{<t}) > 0$ のとき $P(X_t = v \mid X_{<t} = x_{<t}) = p_\theta(v \mid x_{<t})$ です。
2. 逆に、$V^n$ 上の任意の確率分布 $P$ に対して、ある自己回帰言語モデル $q$ があって、すべての $x \in V^n$ で $P(x) = \prod_{t=1}^{n} q(x_t \mid x_{<t})$ が成り立ちます。