ウォームアップつきの学習率スケジュール

ステップ $t$ ごとに学習率 $\eta_t$ を変える規則を学習率スケジュールといいます。Vaswani らは、モデルの次元 $d$ とウォームアップのステップ数 $w$ に対して

を使いました。初めの $w$ ステップで学習率を $0$ 近くから直線的に上げることを線形ウォームアップ、その後 $t^{-1/2}$ に比例して下げることを逆平方根減衰といいます。ウォームアップのあと、総ステップ数 $T_{\max}$ までを $\eta(t) = \frac{1}{2} \eta_{\max} \bigl(1 + \cos(\pi (t - w) / (T_{\max} - w))\bigr)$ で下げる規則をコサイン減衰といいます。