情報科学 › LLM アーキテクチャ › スケーリングと文脈

最大経路長の比較

命題 5.2(「スケーリングと文脈」§5) ・ ✓公理まで証明済み

長さ n≥2n \ge 2 の列について、位置 11 から位置 nn への経路長(これが最大経路長です)は次のとおりです。

  1. 因果的な全注意: 11。
  2. 幅 w≥2w \ge 2 のスライディングウィンドウ注意、および核の幅 k=wk = w の畳み込み: ⌈n−1w−1⌉\Bigl\lceil \dfrac{n - 1}{w - 1} \Bigr\rceil。
  3. 再帰型: n−1n - 1。
  4. 核の幅 kk の拡張畳み込み: ⌈log⁡kn⌉\lceil \log_k n \rceil。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 4 件、定義なども含めて 5 件)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義(直接 1 件)

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。