情報科学 › LLM アーキテクチャ › スケーリングと文脈

文脈長

定義 3.1(「スケーリングと文脈」§3)

モデルが 1 回の順伝播で入力として受け取れるトークン数の上限を文脈長といいます。学習する位置埋め込みを使うモデルでは、表の長さが文脈長の上限になります(命題 4.6[埋め込みと位置符号化])。そうでないモデルでも、計算量と記憶量が実用上の上限を決めます。

本文で読む(前後の説明と例)→

閉包の状態

定義

定義は閉包の起点です(証明を要しません)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。