生成の決定性と、浮動小数点演算の順序

命題 6.3（「推論」§6）・ ✓公理まで証明済み

重み、プロンプト、復号の設定（温度、 $k$ 、 $\rho$ 、最大長）、一様乱数の列 $u_1, u_2, \ldots$ を固定し、ロジットの計算が入力の決定的な関数であるとします。このとき自己回帰生成（定義 3.1）の出力は一意に決まります。擬似乱数生成器は種の決定的な関数なので、種を固定すれば出力は再現されます。
浮動小数点数の加算は結合法則を満たしません。倍精度で $(0.1 + 0.2) + 0.3$ は $0.6000000000000001$ 、 $0.1 + (0.2 + 0.3)$ は $0.6$ と計算されます。したがって、和を取る順序が変わると、同じ重みと同じ入力でもロジットの値が変わりえます。
あるトークンのロジットが $n$ 個の浮動小数点数 $x_1, \ldots, x_n$ の逐次和として計算され、比べる相手のロジット $z'$ は固定されているとします。ある順序での計算値 $\hat{s}$ が $|\hat{s} - z'| > 2\gamma_{n-1} \sum_i |x_i|$ を満たすなら、 $x_1, \ldots, x_n$ をどの順序に並べ替えて逐次和を取っても $z'$ との大小は変わりません（ $\gamma_k = ku/(1 - ku)$ 、 $u$ は単位丸め、 $(n-1)u < 1$ で、オーバーフローとアンダーフローは起きないとします）。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 14 件、定義なども含めて 20 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 6 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

温度つき softmax定義 4.1・推論
top-k と top-p（nucleus）サンプリング定義 5.1・推論
top-p 集合の一意性・最小性・単調性✓定理 5.4・推論
- 上位 j 個は、大きさ j の集合のうち確率が最大✓補題 5.3・推論
- 貪欲復号とビーム探索定義 3.2・推論
累積和による標本抽出の正しさ✓命題 6.1・推論
- 逆関数法✓定理 3.3・分布からの標本抽出
  - 一般化逆関数の基本性質✓補題 3.2・分布からの標本抽出
  - 半直線による判定✓系 3.3・確率変数と期待値
    確率変数定義 3.1・確率変数と期待値
    生成系による可測性の判定✓命題 3.2・確率変数と期待値この先をたどる →
  - 分布は確率測度であり、分布関数がそれを決める✓命題 3.6・確率変数と期待値
    生成系による可測性の判定✓命題 3.2・確率変数と期待値この先をたどる →
- 一般化逆関数（分位点関数）定義 3.1・分布からの標本抽出
丸めの方向と正しい丸め定義 2.2・浮動小数点数と丸め誤差
逐次和の誤差✓定理 5.1・浮動小数点数と丸め誤差
- 四則の標準モデル✓系 3.1・浮動小数点数と丸め誤差
  - 丸めの方向と正しい丸め定義 2.2・浮動小数点数と丸め誤差
  - 丸めの誤差モデル✓定理 2.4・浮動小数と区間演算
    浮動小数の間隔✓補題 2.2・浮動小数と区間演算
- 誤差因子の積✓補題 3.2・浮動小数と区間演算
- γₙ の計算規則✓補題 3.2・浮動小数点数と丸め誤差

これを使っている定理

証明で明示的に参照している定理は、まだありません。

生成の決定性と、浮動小数点演算の順序

閉包の状態

前提をたどる 証明が使う定理・定義（直接 6 件）

これを使っている定理

関連するノック 1 問

前提をたどる証明が使う定理・定義（直接 6 件）