情報科学 › LLM アーキテクチャ › スケーリングと文脈

受容野

定義 4.2(「スケーリングと文脈」§4)

パターン MM(層ごとに違ってもよく、層 ℓ\ell のものを M(ℓ)M^{(\ell)} と書きます)に対して、添字の集合 Rℓ(i)⊂{1,…,n}R_\ell(i) \subset \{1, \ldots, n\} を

R0(i)={i},Rℓ(i)=⋃j : Mij(ℓ)=1Rℓ−1(j)R_0(i) = \{i\}, \qquad R_\ell(i) = \bigcup_{j \,:\, M^{(\ell)}_{ij} = 1} R_{\ell-1}(j)

で定め、RL(i)R_L(i) を LL 層のあとの位置 ii の受容野といいます。

本文で読む(前後の説明と例)→

閉包の状態

定義

定義は閉包の起点です(証明を要しません)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。