情報科学 › LLM アーキテクチャ › スケーリングと文脈

経路長

定義 5.1(「スケーリングと文脈」§5)

層ごとのパターン M(1),M(2),…M^{(1)}, M^{(2)}, \ldots が与えられているとき、位置 jj から位置 ii への経路長を、j∈Rℓ(i)j \in R_\ell(i) となる最小の ℓ\ell(そのような ℓ\ell がなければ ∞\infty)と定めます。因果的なパターンでは j≤ij \le i の対だけを考え、j<ij < i の対についての経路長の最大値を最大経路長といいます。

本文で読む(前後の説明と例)→

閉包の状態

定義

定義は閉包の起点です(証明を要しません)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。