情報科学 › LLM アーキテクチャ › Transformer ブロック
MLP と層正規化は位置の間で情報を混ぜない
位置ごとの MLP と層正規化は行ごとに働く写像である。すなわち出力の第 行は入力の第 行だけの関数で、 のとき、出力の第 行を入力の第 行で微分したヤコビ行列は 0 である。したがって、自己注意を含まず、行ごとに働く写像・位置ベクトルの加算・それらの合成と和（残差接続）だけからなるモデルでは、位置 の出力は位置 のトークンと だけで決まる。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 0 件、定義なども含めて 2 件）。
印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義（直接 2 件）
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
- 残差接続・位置ごとの MLP・ブロック定義 2.2・Transformer ブロック
- 層正規化定義 2.1・Transformer ブロック
これを使っている定理 証明で参照している 1 件
- ブロックとモデル全体の同変性・因果性✓命題 7.2・Transformer ブロック