デコーダのみの Transformer のパラメータ数

定理 5.1（「Transformer ブロック」§5）・ ✓公理まで証明済み

定義 2.3 のモデル（語彙 $|V|$ 、次元 $d$ 、層数 $L$ 、MLP の幅 $d_{\mathrm{ff}}$ 、長さ $L_{\mathrm{ctx}}$ の学習する位置埋め込み、入出力の重み共有あり、注意・MLP にバイアスあり）のパラメータ数は

|V|\,d + L_{\mathrm{ctx}}\,d + L\big(\underbrace{4d^2 + 4d}_{\text{注意}} + \underbrace{2d\,d_{\mathrm{ff}} + d_{\mathrm{ff}} + d}_{\text{MLP}} + \underbrace{4d}_{\text{層正規化 2 つ}}\big) + \underbrace{2d}_{\text{最後の層正規化}}

である。 $d_{\mathrm{ff}} = 4d$ のとき、1 層あたりは $12d^2 + 13d$ である。位置を RoPE や正弦波で与える場合は $L_{\mathrm{ctx}}\,d$ の項が無くなり、重み共有をしない場合は出力側の行列の $|V|\,d$ が加わる。

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 2 件、定義なども含めて 3 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

証明で明示的に参照している定理は、まだありません。