情報科学 › LLM アーキテクチャ › 言語モデルの学習

Adam

定義 5.1（「言語モデルの学習」§5）

0≤β1<10 \le \beta_1 < 1、0≤β2<10 \le \beta_2 < 1、学習率 η>0\eta > 0、ε≥0\varepsilon \ge 0 とします。時刻 t=1,2,…t = 1, 2, \ldots の（確率的）勾配を gt\boldsymbol{g}_t とし、m0=v0=0\boldsymbol{m}_0 = \boldsymbol{v}_0 = \boldsymbol{0} から

mt=β1mt−1+(1−β1) gt,vt=β2vt−1+(1−β2) gt⊙gt,m^t=mt1−β1t,v^t=vt1−β2t,θt=θt−1−η m^tv^t+ε\begin{aligned} \boldsymbol{m}_t &= \beta_1 \boldsymbol{m}_{t-1} + (1 - \beta_1)\, \boldsymbol{g}_t, & \boldsymbol{v}_t &= \beta_2 \boldsymbol{v}_{t-1} + (1 - \beta_2)\, \boldsymbol{g}_t \odot \boldsymbol{g}_t, \\ \hat{\boldsymbol{m}}_t &= \frac{\boldsymbol{m}_t}{1 - \beta_1^t}, & \hat{\boldsymbol{v}}_t &= \frac{\boldsymbol{v}_t}{1 - \beta_2^t}, \\ \theta_t &= \theta_{t-1} - \eta\, \frac{\hat{\boldsymbol{m}}_t}{\sqrt{\hat{\boldsymbol{v}}_t} + \varepsilon} \end{aligned}

と更新する方法を Adam といいます。⊙\odot は成分ごとの積で、平方根と割り算も成分ごとに行います。mt\boldsymbol{m}_t を 1 次モーメントの推定、vt\boldsymbol{v}_t を 2 次モーメントの推定、1−βt1 - \beta^t で割る操作をバイアス補正といいます。

本文で読む（前後の説明と例）→

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 2 問