情報科学 › LLM アーキテクチャ › 言語モデルの学習

ノルムによる勾配クリッピング

定義 6.3（「言語モデルの学習」§6）

しきい値 c>0c > 0 に対して、

clipc(g)=g⋅min⁡(1, c∥g∥)(g≠0),clipc(0)=0\mathrm{clip}_c(\boldsymbol{g}) = \boldsymbol{g} \cdot \min\Bigl(1,\ \frac{c}{\|\boldsymbol{g}\|}\Bigr) \quad (\boldsymbol{g} \ne \boldsymbol{0}), \qquad \mathrm{clip}_c(\boldsymbol{0}) = \boldsymbol{0}

をノルムによる勾配クリッピングといいます。

本文で読む（前後の説明と例）→

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。