情報科学 › LLM アーキテクチャ › Transformer ブロック

ReLU の MLP は区分線形

命題 8.1（「Transformer ブロック」§8） ・ ✓公理まで証明済み

g(x)=W2T ReLU(W1Tx+b1)+b2g(\boldsymbol{x}) = W_2^{\mathsf{T}}\,\mathrm{ReLU}(W_1^{\mathsf{T}}\boldsymbol{x} + \boldsymbol{b}_1) + \boldsymbol{b}_2（x∈Rd\boldsymbol{x} \in \mathbb{R}^d、幅 dffd_{\mathrm{ff}}）とする。

  1. Rd\mathbb{R}^d は、高々 2dff2^{d_{\mathrm{ff}}} 個の互いに交わらない凸集合に分かれ、そのそれぞれの上で gg は 1 次式（アフィン写像）に一致する。
  2. GELU(t)=t Φ(t)\mathrm{GELU}(t) = t\,\Phi(t) は R\mathbb{R} 上で何回でも微分可能で、どの開区間の上でも 1 次式に一致しない。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 5 件、定義なども含めて 6 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 1 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。