情報科学 › LLM アーキテクチャ › スケーリングと文脈
窓つき注意の受容野
すべての層が幅 ()のスライディングウィンドウ注意であるとします。
- です。
- したがって、 である位置 の入力をどう変えても、 層のあとの位置 の出力は変わりません。
- 位置 の出力が距離 だけ前の入力 に依存しうるためには、 かつ が必要です。
- 全注意()では で、1 層で自分以前のすべての位置が受容野に入ります。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 3 件、定義なども含めて 4 件)。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義(直接 1 件)
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
出力は受容野の中の入力だけの関数✓補題 4.3・スケーリングと文脈
これを使っている定理 証明で参照している 1 件
- 最大経路長の比較✓命題 5.2・スケーリングと文脈