情報科学 › LLM アーキテクチャ › 推論

温度の極限・順位の保存・エントロピーの単調性

定理 4.2(「推論」§4) ・ ✓公理まで証明済み

z∈RN\boldsymbol{z} \in \mathbb{R}^N とし、最大値を zmax⁡=max⁡iziz_{\max} = \max_i z_i、それを取る添字の集合を I={i:zi=zmax⁡}I = \{ i : z_i = z_{\max} \} とします。

  1. τ→0+\tau \to 0+ のとき、pτ,i→1/∣I∣p_{\tau, i} \to 1 / |I|(i∈Ii \in I)、pτ,i→0p_{\tau, i} \to 0(i∉Ii \notin I)です。
  2. τ→∞\tau \to \infty のとき、すべての ii で pτ,i→1/Np_{\tau, i} \to 1 / N です。
  3. 任意の τ>0\tau > 0 について、zi>zjz_i > z_j なら pτ,i>pτ,jp_{\tau, i} > p_{\tau, j}、zi=zjz_i = z_j なら pτ,i=pτ,jp_{\tau, i} = p_{\tau, j} です。温度は成分の順位を変えません。
  4. h(τ)=H(pτ)h(\tau) = H(p_\tau) は τ>0\tau > 0 で微分可能で、
dhdτ=Varpτ(z)τ3 ≥ 0,Varpτ(z)=∑ipτ,izi2−(∑ipτ,izi)2\frac{dh}{d\tau} = \frac{\mathrm{Var}_{p_\tau}(z)}{\tau^3} \ \ge\ 0, \qquad \mathrm{Var}_{p_\tau}(z) = \sum_i p_{\tau, i} z_i^2 - \Bigl(\sum_i p_{\tau, i} z_i\Bigr)^2

です。したがって hh は広義単調増加で、zz の成分がすべて等しい場合を除いて狭義単調増加です。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 14 件、定義なども含めて 19 件)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義(直接 2 件)

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 2 問