情報科学 › LLM アーキテクチャ › 埋め込みと位置符号化
学習する位置埋め込みのパラメータ数と定義域
長さ の学習する位置埋め込みは 個のパラメータを持ち、位置 に対しては位置ベクトルが定義されない。したがってこの方式のモデルは、長さが を超える列を入力に取れない。一方、正弦波位置符号化 と、6 節の回転 は、パラメータを持たず、すべての実数（とくにすべての整数の位置）に対して定義される。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 0 件、定義なども含めて 1 件）。
印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義（直接 1 件）
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
- 絶対位置・相対位置・位置符号化定義 4.1・埋め込みと位置符号化
これを使っている定理 証明で参照している 1 件
- デコーダのみの Transformer のパラメータ数✓定理 5.1・Transformer ブロック