情報科学 › LLM アーキテクチャ › 自己注意

マルチヘッド自己注意のパラメータ数

命題 7.1(「自己注意」§7) ・ ✓公理まで証明済み

定義 4.1 のマルチヘッド自己注意(dk=dv=d/hd_k = d_v = d/h、バイアスあり)1 層のパラメータ数は

4d2+4d4d^2 + 4d

で、ヘッド数 hh に依らない。バイアスを付けない場合は 4d24d^2 である。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義

証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。

これを使っている定理 証明で参照している 1 件

関連するノック 1 問