情報科学 › LLM アーキテクチャ › 自己注意

注意の出力は凸結合

命題 4.2(「自己注意」§4) ・ ✓公理まで証明済み

定義 4.1 の注意(因果マスクつきの場合を含む)について、出力の第 ii 行は

∑j=1mAijvj,Aij≥0,∑j=1mAij=1\sum_{j=1}^{m} A_{ij}\boldsymbol{v}_j, \qquad A_{ij} \ge 0, \qquad \sum_{j=1}^{m} A_{ij} = 1

の形、すなわちバリュー v1,…,vm\boldsymbol{v}_1, \ldots, \boldsymbol{v}_m の凸結合である。したがって

∥∑jAijvj∥≤max⁡1≤j≤m∥vj∥\Big\| \sum_{j} A_{ij}\boldsymbol{v}_j \Big\| \le \max_{1 \le j \le m} \|\boldsymbol{v}_j\|

が成り立ち、各成分についても min⁡j(vj)l≤(∑jAijvj)l≤max⁡j(vj)l\min_j (\boldsymbol{v}_j)_l \le \big(\sum_j A_{ij}\boldsymbol{v}_j\big)_l \le \max_j (\boldsymbol{v}_j)_l である。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 47 件、定義なども含めて 61 件)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義(直接 3 件)

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 1 問