# 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化
> 学習済みの重みから文章を生成する手続きを定義し、温度の極限とエントロピーの単調性、top-p 集合の一意性と最小性、貪欲復号が最適でない反例、KV キャッシュの正しさと計算量、一様量子化の誤差の上界を証明して NumPy で確かめる。
> https://rikai.mugen-giken.com/computer-science/llm-architecture/inference-and-sampling
## 0. この記事の要点
ChatGPT のような言語モデルは、文章を丸ごと一度に作るのではなく、「次の 1 語（トークン）は何か」を毎回予想して、1 つ選んで付け足すことを繰り返しています。予想の仕方（重み）が同じでも、どう選ぶか、計算をどう節約するか、重みをどこまで粗く保存するかで、出力の内容も速さも変わります。この記事では、その「選び方」（温度・top-p など）、「計算の節約」（KV キャッシュ）、「重みの粗い保存」（量子化）が、それぞれ何を保証するのかを、数式と小さな数値例で確かめます。
- 生成は「次のトークンの分布から 1 つ選び、入力の末尾に足す」ことの反復です。同じ重みでも、選び方（復号の方法）を変えると出力の分布が変わります。毎回いちばん確率の高いトークンを選ぶ貪欲復号は、確率最大の列を返すとは限りません（
## 5. 分布の打ち切り：top-k と top-p
温度を上げると、確率の小さいトークン（分布の裾）にも確率が回ります。裾には文脈に合わないトークンが多く含まれるので、裾を切り落としてから選ぶ方法が使われます。
$p$ を $V = \{1, \ldots, N\}$ 上の確率分布とします。添字を確率の降順に、同じ値は添字の昇順に並べたものを $\pi(1), \pi(2), \ldots, \pi(N)$ とし（$p_{\pi(1)} \ge p_{\pi(2)} \ge \cdots$）、累積を $c_j = \sum_{i=1}^{j} p_{\pi(i)}$ とします。
- **top-k 集合**（$1 \le k \le N$）: $S^{(k)} = \{\pi(1), \ldots, \pi(k)\}$。
- **top-p 集合**（しきい値 $0 < \rho \le 1$）: $k(\rho) = \min\{ j : c_j \ge \rho \}$ とし、$S_\rho = \{\pi(1), \ldots, \pi(k(\rho))\}$。
- 集合 $S$（$p(S) > 0$）への**制限**: $p_S(i) = p_i / p(S)$（$i \in S$）、$p_S(i) = 0$（$i \notin S$）。
$p_{S^{(k)}}$ から標本を取ることを **top-k サンプリング**、$p_{S_\rho}$ から標本を取ることを **top-p サンプリング**（nucleus サンプリング）といいます。しきい値 $\rho$ が、通称の「top-p の p」です（分布の記号 $p$ と区別するため、ここでは $\rho$ と書きます）。
$p$ を $V$ 上の確率分布、$S \subset V$ を $p(S) > 0$ である集合とします。
1. $p_S$ は $V$ 上の確率分布で、$p$ に従う確率変数 $X$ の、事象 $\{X \in S\}$ のもとでの条件付き分布に一致します: $p_S(i) = P(X = i \mid X \in S)$。
2. $i, j \in S$、$p_j > 0$ なら $p_S(i) / p_S(j) = p_i / p_j$ です。$S$ の中の確率の比は変わりません。
3. $p$ と $p_S$ の全変動距離は $\frac{1}{2} \sum_i |p_i - p_S(i)| = 1 - p(S)$ です。
**1.** 条件付き確率の定義（