自己回帰生成

プロンプト（与えられた接頭辞）$x_{\le t_0}$ から始めて、$t = t_0 + 1, t_0 + 2, \ldots$ について

1. モデルで $p_\theta(\cdot \mid x_{<t})$ を計算する、
2. 復号規則に従って $x_t \in V$ を 1 つ決める、
3. $x_t$ を列の末尾に足す、

を繰り返す手続きを自己回帰生成といいます。$x_t$ が終端を表す特殊トークンになったとき、または列の長さがあらかじめ決めた最大長に達したときに止めます。最大長があるので、手続きは必ず止まります。