情報科学 › LLM アーキテクチャ › 推論

一様量子化の誤差の上界

命題 8.2(「推論」§8) ・ ✓公理まで証明済み

定義 8.1 の記号のもとで、次が成り立ちます。

  1. すべての w∈[−a,a]w \in [-a, a] で ∣w−Q(w)∣≤Δ/2|w - Q(w)| \le \Delta / 2 です。
  2. 成分がすべて [−a,a][-a, a] に入る W∈Rm×nW \in \mathbb{R}^{m \times n} について ∥W−Q(W)∥F≤Δ2mn\|W - Q(W)\|_F \le \dfrac{\Delta}{2} \sqrt{mn} で、任意の x∈Rn\boldsymbol{x} \in \mathbb{R}^n について ∥(W−Q(W))x∥≤Δ2mn ∥x∥\|(W - Q(W))\boldsymbol{x}\| \le \dfrac{\Delta}{2} \sqrt{mn}\, \|\boldsymbol{x}\| です。
  3. bb ビットの刻みを Δb\Delta_b と書くと、Δb+1Δb=2b−12b+1−1<12\dfrac{\Delta_{b+1}}{\Delta_b} = \dfrac{2^b - 1}{2^{b+1} - 1} < \dfrac{1}{2} で、b→∞b \to \infty のとき 12\dfrac{1}{2} に収束します。
  4. 量子化誤差 ee が区間 [−Δ/2,Δ/2][-\Delta/2, \Delta/2] 上の一様分布に従うという模型のもとでは、E[e]=0\mathbb{E}[e] = 0、Var(e)=Δ2/12\mathrm{Var}(e) = \Delta^2 / 12 です。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 1 件、定義なども含めて 2 件)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義(直接 2 件)

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 1 問