情報科学 › LLM アーキテクチャ › Transformer ブロック
層正規化はスケールと平行移動に不変
命題 3.1(「Transformer ブロック」§3) ・ ✓公理まで証明済み
ε=0 とし、x∈Rd は成分がすべて等しくはないとする。
- 任意の a>0 と b∈R について LN(ax+b1)=LN(x)。
- γ=1、β=0 のとき、y:=LN(x) は μ(y)=0、σ2(y)=1、∥y∥=d を満たす。
本文で読む(証明と前後の説明)→
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義
証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。
これを使っている定理 証明で参照している 1 件
関連するノック 3 問