情報科学 › LLM アーキテクチャ › 自己注意

内積の分散は次元に比例する

命題 4.4(「自己注意」§4) ・ ✓公理まで証明済み

q1,…,qdk,k1,…,kdkq_1, \ldots, q_{d_k}, k_1, \ldots, k_{d_k} を独立な確率変数とし、どれも平均 0・分散 1 とする。q=(q1,…,qdk)\boldsymbol{q} = (q_1, \ldots, q_{d_k})、k=(k1,…,kdk)\boldsymbol{k} = (k_1, \ldots, k_{d_k}) について

E[⟨q,k⟩]=0,Var(⟨q,k⟩)=dk,Var ⁣(⟨q,k⟩dk)=1E[\langle \boldsymbol{q}, \boldsymbol{k}\rangle] = 0, \qquad \mathrm{Var}\big(\langle \boldsymbol{q}, \boldsymbol{k}\rangle\big) = d_k, \qquad \mathrm{Var}\!\left(\frac{\langle \boldsymbol{q}, \boldsymbol{k}\rangle}{\sqrt{d_k}}\right) = 1

が成り立つ。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 24 件、定義なども含めて 32 件)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義(直接 4 件)

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 1 問