情報科学 › LLM アーキテクチャ › 自己注意

マスクは極限として正当化できる

命題 3.3（「自己注意」§3） ・ ✓公理まで証明済み

U⊂{1,…,n}U \subset \{1, \ldots, n\} を空でない部分集合とし、m∈Rn\boldsymbol{m} \in \mathbb{R}^n を、i∉Ui \notin U のとき mi=1m_i = 1、i∈Ui \in U のとき mi=0m_i = 0 であるベクトルとする。任意の z∈Rn\boldsymbol{z} \in \mathbb{R}^n について

lim⁡c→∞σ(z−c m)=σU(z)\lim_{c \to \infty} \sigma(\boldsymbol{z} - c\,\boldsymbol{m}) = \sigma^{U}(\boldsymbol{z})

が成り立つ。さらに i∉Ui \notin U のとき 0<σ(z−cm)i≤e−c ezi/∑j∈Uezj0 < \sigma(\boldsymbol{z} - c\boldsymbol{m})_i \le e^{-c}\, e^{z_i} \big/ \sum_{j \in U} e^{z_j} である。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 45 件、定義なども含めて 58 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。