L2 正則化・重み減衰・AdamW

損失 $f(\theta)$ と $\lambda \ge 0$ に対して、

• L2 正則化: $f$ の代わりに $f(\theta) + \frac{\lambda}{2} \|\theta\|^2$ を最小化します。勾配は $\nabla f(\theta) + \lambda \theta$ になります。
• 重み減衰: $f$ の勾配による更新とは別に、ステップごとに $\theta$ から $\eta \lambda \theta$ を引きます。
• AdamW: 定義 5.1 の $\boldsymbol{g}_t$ には $f$ だけの勾配を使い、更新を $\theta_t = \theta_{t-1} - \eta \Bigl( \dfrac{\hat{\boldsymbol{m}}_t}{\sqrt{\hat{\boldsymbol{v}}_t} + \varepsilon} + \lambda\, \theta_{t-1} \Bigr)$ とします。