情報科学 › LLM アーキテクチャ › Transformer ブロック

残差接続の恒等経路

命題 4.1（「Transformer ブロック」§4） ・ ✓公理まで証明済み

F1,…,FMF_1, \ldots, F_M と正規化 N1,…,NMN_1, \ldots, N_M を Rnd\mathbb{R}^{nd} から Rnd\mathbb{R}^{nd} への微分可能な写像とする。

（Pre-LN） xl:=xl−1+Fl(Nl(xl−1))\boldsymbol{x}_l := \boldsymbol{x}_{l-1} + F_l\big(N_l(\boldsymbol{x}_{l-1})\big)（l=1,…,Ml = 1, \ldots, M）とする。Gl:=Fl∘NlG_l := F_l \circ N_l、Jl:=J_l := （GlG_l の xl−1\boldsymbol{x}_{l-1} でのヤコビ行列）と書くと

xM=x0+∑l=1MGl(xl−1),∂xM∂xl=(I+JM)(I+JM−1)⋯(I+Jl+1)=I+∑∅≠S⊂{l+1,…,M} ∏k∈S←Jk\boldsymbol{x}_M = \boldsymbol{x}_0 + \sum_{l=1}^{M} G_l(\boldsymbol{x}_{l-1}), \qquad \frac{\partial \boldsymbol{x}_M}{\partial \boldsymbol{x}_l} = (I + J_M)(I + J_{M-1})\cdots(I + J_{l+1}) = I + \sum_{\emptyset \ne S \subset \{l+1, \ldots, M\}} \ \prod_{k \in S}^{\leftarrow} J_k

が成り立つ。ここで ∏←\prod^{\leftarrow} は添字の大きい順に左から並べた積である。とくに右辺には、どの JkJ_k も含まない項として恒等行列 II がちょうど 1 つある。

（Post-LN） xl:=Nl(xl−1+Fl(xl−1))\boldsymbol{x}_l := N_l\big(\boldsymbol{x}_{l-1} + F_l(\boldsymbol{x}_{l-1})\big) とする。Dl:=D_l := （FlF_l の xl−1\boldsymbol{x}_{l-1} でのヤコビ行列）、Kl:=K_l := （NlN_l の xl−1+Fl(xl−1)\boldsymbol{x}_{l-1} + F_l(\boldsymbol{x}_{l-1}) でのヤコビ行列）と書くと

∂xM∂xl=KM(I+DM) KM−1(I+DM−1)⋯Kl+1(I+Dl+1)\frac{\partial \boldsymbol{x}_M}{\partial \boldsymbol{x}_l} = K_M(I + D_M)\,K_{M-1}(I + D_{M-1})\cdots K_{l+1}(I + D_{l+1})

で、どの DkD_k も含まない項は KMKM−1⋯Kl+1K_M K_{M-1}\cdots K_{l+1} である。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 1 件、定義なども含めて 2 件）。

印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義（直接 1 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 1 問