top-k と top-p（nucleus）サンプリング

$p$ を $V = \{1, \ldots, N\}$ 上の確率分布とします。添字を確率の降順に、同じ値は添字の昇順に並べたものを $\pi(1), \pi(2), \ldots, \pi(N)$ とし（$p_{\pi(1)} \ge p_{\pi(2)} \ge \cdots$）、累積を $c_j = \sum_{i=1}^{j} p_{\pi(i)}$ とします。

• top-k 集合（$1 \le k \le N$）: $S^{(k)} = \{\pi(1), \ldots, \pi(k)\}$。
• top-p 集合（しきい値 $0 < \rho \le 1$）: $k(\rho) = \min\{ j : c_j \ge \rho \}$ とし、$S_\rho = \{\pi(1), \ldots, \pi(k(\rho))\}$。
• 集合 $S$（$p(S) > 0$）への制限: $p_S(i) = p_i / p(S)$（$i \in S$）、$p_S(i) = 0$（$i \notin S$）。

$p_{S^{(k)}}$ から標本を取ることを top-k サンプリング、$p_{S_\rho}$ から標本を取ることを top-p サンプリング（nucleus サンプリング）といいます。しきい値 $\rho$ が、通称の「top-p の p」です（分布の記号 $p$ と区別するため、ここでは $\rho$ と書きます）。