情報科学 › LLM アーキテクチャ › スケーリングと文脈

窓つき注意の受容野

定理 4.6(「スケーリングと文脈」§4) ・ ✓公理まで証明済み

すべての層が幅 ww(w≥1w \ge 1)のスライディングウィンドウ注意であるとします。

  1. RL(i)={ j:max⁡(1, i−L(w−1))≤j≤i }R_L(i) = \{\, j : \max(1,\ i - L(w - 1)) \le j \le i \,\} です。
  2. したがって、j<i−L(w−1)j < i - L(w - 1) である位置 jj の入力をどう変えても、LL 層のあとの位置 ii の出力は変わりません。
  3. 位置 ii の出力が距離 D≥1D \ge 1 だけ前の入力 xi−D\boldsymbol{x}_{i - D} に依存しうるためには、w≥2w \ge 2 かつ L≥⌈D/(w−1)⌉L \ge \lceil D / (w - 1) \rceil が必要です。
  4. 全注意(Mij=1  ⟺  j≤iM_{ij} = 1 \iff j \le i)では R1(i)={1,…,i}R_1(i) = \{1, \ldots, i\} で、1 層で自分以前のすべての位置が受容野に入ります。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 3 件、定義なども含めて 4 件)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義(直接 1 件)

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理 証明で参照している 1 件

関連するノック 1 問