情報科学 › LLM アーキテクチャ › Transformer ブロック

層正規化はスケールと平行移動に不変

命題 3.1(「Transformer ブロック」§3) ・ ✓公理まで証明済み

ε=0\varepsilon = 0 とし、x∈Rd\boldsymbol{x} \in \mathbb{R}^d は成分がすべて等しくはないとする。

  1. 任意の a>0a > 0 と b∈Rb \in \mathbb{R} について LN(ax+b1)=LN(x)\mathrm{LN}(a\boldsymbol{x} + b\boldsymbol{1}) = \mathrm{LN}(\boldsymbol{x})。
  2. γ=1\boldsymbol{\gamma} = \boldsymbol{1}、β=0\boldsymbol{\beta} = \boldsymbol{0} のとき、y:=LN(x)\boldsymbol{y} := \mathrm{LN}(\boldsymbol{x}) は μ(y)=0\mu(\boldsymbol{y}) = 0、σ2(y)=1\sigma^2(\boldsymbol{y}) = 1、∥y∥=d\|\boldsymbol{y}\| = \sqrt{d} を満たす。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義

証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。

これを使っている定理 証明で参照している 1 件

関連するノック 3 問