層正規化のヤコビ行列

$\varepsilon = 0$、$\boldsymbol{\gamma} = \boldsymbol{1}$、$\boldsymbol{\beta} = \boldsymbol{0}$ とし、$\boldsymbol{x} \in \mathbb{R}^d$ は成分がすべて等しくはないとする。$\sigma := \sqrt{\sigma^2(\boldsymbol{x})}$、$\boldsymbol{y} := \mathrm{LN}(\boldsymbol{x})$ と書くと、$\mathrm{LN}$ は $\boldsymbol{x}$ で微分可能で、ヤコビ行列は

である。さらに次が成り立つ。

1. $J(\boldsymbol{x})\boldsymbol{1} = \boldsymbol{0}$、$J(\boldsymbol{x})\big(\boldsymbol{x} - \mu(\boldsymbol{x})\boldsymbol{1}\big) = \boldsymbol{0}$。
2. $W := \mathrm{span}\{\boldsymbol{1},\ \boldsymbol{x} - \mu(\boldsymbol{x})\boldsymbol{1}\}$ とすると、$\sigma J(\boldsymbol{x})$ は $W$ の直交補空間 $W^{\perp}$ への直交射影である。すなわち $\boldsymbol{v} \in W^{\perp}$ ならば $J(\boldsymbol{x})\boldsymbol{v} = \boldsymbol{v}/\sigma$。
3. 任意の $a > 0$ について $J(a\boldsymbol{x}) = J(\boldsymbol{x})/a$。