情報科学 › LLM アーキテクチャ › トークン化

マージの適用 1 回の性質

補題 3.1（「トークン化」§3）・ ✓公理まで証明済み

$r = (a, b \mapsto c)$ をマージ規則、 $x \in V'^{*}$ をトークン列とする。次が成り立つ。

$\mathrm{dec}(M_r(x)) = \mathrm{dec}(x)$ 。
$|M_r(x)| = |x| - \mathrm{rep}_r(x)$ 。
$\mathrm{rep}_r(x) \le \mathrm{cnt}_x(a, b)$ であり、 $\mathrm{cnt}_x(a, b) \ge 1$ ならば $\mathrm{rep}_r(x) \ge 1$ 。
$a \ne b$ ならば $\mathrm{rep}_r(x) = \mathrm{cnt}_x(a, b)$ 。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 3 件、定義なども含めて 5 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

完全帰納法✓定理 4.3・証明の技術
- 数学的帰納法の原理✓定理 3.2・証明の技術
  - 背理法の正当性✓命題 6.2・証明の技術
  - 整列性公理 3.1・証明の技術
マージ規則とその適用定義 2.2・トークン化

これを使っている定理証明で参照している 3 件

符号化と復号の往復✓定理 3.2・トークン化
トークン数は増えない✓命題 4.1・トークン化
学習の停止性とマージ回数の上界✓命題 4.2・トークン化

関連するノック 2 問