情報科学 › LLM アーキテクチャ › スケーリングと文脈

大域トークンは経路を 2 層に縮める

命題 4.8（「スケーリングと文脈」§4） ・ ✓公理まで証明済み

パターン MM に大域トークンの集合 G\mathcal{G}（g=∣G∣≥1g = |\mathcal{G}| \ge 1）を足したパターン M′M' を、すべての層で使うとします。

  1. 任意の位置 i,ji, j について j∈R2(i)j \in R_2(i) です。すなわち、どの 2 つの位置も 2 層でつながります。
  2. Mij′=1M'_{ij} = 1 である対の数は、MM の対の数に 2gn2gn を足したもの以下です。MM が幅 ww の窓なら対の数は n(w+2g)n(w + 2g) 以下で、注意の計算量は O(n(w+g)d)O(n(w + g)d) です。
  3. MM が因果的でも、n≥2n \ge 2 なら M′M' は因果的ではありません。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 1 件、定義なども含めて 1 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 1 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 1 問