情報科学 › LLM アーキテクチャ › 推論
一様量子化の誤差の上界
命題 8.2(「推論」§8) ・ ✓公理まで証明済み
定義 8.1 の記号のもとで、次が成り立ちます。
- すべての w∈[−a,a] で ∣w−Q(w)∣≤Δ/2 です。
- 成分がすべて [−a,a] に入る W∈Rm×n について ∥W−Q(W)∥F≤2Δmn で、任意の x∈Rn について ∥(W−Q(W))x∥≤2Δmn∥x∥ です。
- b ビットの刻みを Δb と書くと、ΔbΔb+1=2b+1−12b−1<21 で、b→∞ のとき 21 に収束します。
- 量子化誤差 e が区間 [−Δ/2,Δ/2] 上の一様分布に従うという模型のもとでは、E[e]=0、Var(e)=Δ2/12 です。
本文で読む(証明と前後の説明)→
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 1 件、定義なども含めて 2 件)。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義(直接 2 件)
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
これを使っている定理
証明で明示的に参照している定理は、まだありません。
関連するノック 1 問