L2 正則化と重み減衰は SGD では一致し、Adam では一致しない

$f$ を微分可能な損失、$\eta > 0$、$\lambda \ge 0$ とします。

1. 素の（確率的）勾配降下法では、L2 正則化つきの 1 ステップ $\theta' = \theta - \eta (\boldsymbol{g} + \lambda \theta)$ と、重み減衰つきの 1 ステップ $\theta' = (1 - \eta\lambda)\theta - \eta \boldsymbol{g}$ は、同じ $\theta, \boldsymbol{g}$ に対して同じ値を与えます。
2. $\varepsilon = 0$ の Adam の最初の 1 ステップ（$m_0 = v_0 = 0$）を 1 成分で考え、その成分の損失の勾配を $g \ne 0$、重みを $\theta_0$ とし、$g + \lambda\theta_0 \ne 0$ とします。L2 正則化つきの Adam は $\theta_1 = \theta_0 - \eta\, \mathrm{sgn}(g + \lambda\theta_0)$、AdamW は $\theta_1 = (1 - \eta\lambda)\theta_0 - \eta\, \mathrm{sgn}(g)$ を与えます。$\lambda\theta_0 \ne 0$ で $g$ と $g + \lambda\theta_0$ の符号が同じなら、両者の差は $\eta\lambda\theta_0 \ne 0$ です。