Adam の更新量の上界とスケール不変性

$0 \le \beta_1 < 1$、$0 < \beta_2 < 1$、$\rho = \beta_1^2 / \beta_2 < 1$ とします。実数 $g_1, \ldots, g_t$ のうち少なくとも 1 つが $0$ でないとし、$m_t, v_t$ を 定義 5.1 の 1 成分とします。

1. $\dfrac{|m_t|}{\sqrt{v_t}} \le \dfrac{1 - \beta_1}{\sqrt{1 - \beta_2}} \sqrt{\dfrac{1 - \rho^t}{1 - \rho}} \le \dfrac{1 - \beta_1}{\sqrt{(1 - \beta_2)(1 - \beta_1^2 / \beta_2)}}$ です。
2. バイアス補正をした量については $\dfrac{|\hat{m}_t|}{\sqrt{\hat{v}_t}} \le \dfrac{\sqrt{1 - \beta_2^t}}{1 - \beta_1^t} \cdot \dfrac{1 - \beta_1}{\sqrt{1 - \beta_2}} \sqrt{\dfrac{1 - \rho^t}{1 - \rho}}$ です。
3. $c > 0$ として勾配を一律に $g_i \mapsto c\, g_i$ と置き換えても、$m_t / \sqrt{v_t}$ と $\hat{m}_t / \sqrt{\hat{v}_t}$ は変わりません。

したがって $\varepsilon = 0$ の Adam では、1 ステップで各成分が動く量 $\eta\, |\hat{m}_t| / \sqrt{\hat{v}_t}$ は、勾配の大きさに依らず、$\eta$ と $\beta_1, \beta_2, t$ だけで決まる定数以下です。