情報科学 › LLM アーキテクチャ › 自己注意

因果的な写像の族

定義 6.1(「自己注意」§6)

各 n≥1n \ge 1 に対して写像 fn:Rn×d→Rn×d′f_n : \mathbb{R}^{n \times d} \to \mathbb{R}^{n \times d'} が与えられているとする。族 f=(fn)n≥1f = (f_n)_{n \ge 1} が因果的であるとは、すべての nn、すべての i≤ni \le n、すべての X∈Rn×dX \in \mathbb{R}^{n \times d} について

fn(X)i=fi(X1:i)if_n(X)_i = f_i(X_{1:i})_i

が成り立つことをいう。ここで X1:i∈Ri×dX_{1:i} \in \mathbb{R}^{i \times d} は XX の最初の ii 行からなる行列である。

本文で読む(前後の説明と例)→

閉包の状態

定義

定義は閉包の起点です(証明を要しません)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理 証明で参照している 1 件

関連するノック 1 問