層正規化

定義 2.1（「Transformer ブロック」§2）

$\boldsymbol{x} \in \mathbb{R}^{d}$ の成分の平均と分散を

\mu(\boldsymbol{x}) := \frac{1}{d}\sum_{j=1}^{d} x_j, \qquad \sigma^2(\boldsymbol{x}) := \frac{1}{d}\sum_{j=1}^{d}\big(x_j - \mu(\boldsymbol{x})\big)^2

とする。パラメータ $\boldsymbol{\gamma}, \boldsymbol{\beta} \in \mathbb{R}^{d}$ と定数 $\varepsilon \ge 0$ に対し

\mathrm{LN}(\boldsymbol{x}) := \boldsymbol{\gamma} \odot \frac{\boldsymbol{x} - \mu(\boldsymbol{x})\boldsymbol{1}}{\sqrt{\sigma^2(\boldsymbol{x}) + \varepsilon}} + \boldsymbol{\beta}

を層正規化という（ $\odot$ は成分ごとの積）。 $\varepsilon = 0$ のときは $\sigma^2(\boldsymbol{x}) > 0$ 、すなわち $\boldsymbol{x}$ の成分がすべて等しくはない場合に定義される。行列 $X$ に対しては各行に施す。

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。