情報科学 › LLM アーキテクチャ › トークン化

トークン数は増えない

命題 4.1（「トークン化」§4）・ ✓公理まで証明済み

$r = (a, b \mapsto c)$ をマージ規則、 $x$ をトークン列とする。

$|M_r(x)| = |x| - \mathrm{rep}_r(x) \le |x|$ 。すなわちマージを 1 つ適用するとトークン数はちょうど $\mathrm{rep}_r(x)$ （重なりを除いて左から数えた $(a, b)$ の出現回数）だけ減り、増えることはない。 $a \ne b$ なら減る数は出現回数 $\mathrm{cnt}_x(a, b)$ に等しい。
任意のマージ規則の列 $R$ と記号列 $s$ について $|\mathrm{enc}_R(s)| \le |s|$ 。 $s \ne \varepsilon$ なら $|\mathrm{enc}_R(s)| \ge 1$ 。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 5 件、定義なども含めて 7 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

マージの適用 1 回の性質✓補題 3.1・トークン化
- 完全帰納法✓定理 4.3・証明の技術
  - 数学的帰納法の原理✓定理 3.2・証明の技術（上で展開済み）
- マージ規則とその適用定義 2.2・トークン化
符号化と復号の往復✓定理 3.2・トークン化
- 数学的帰納法の原理✓定理 3.2・証明の技術
  - 背理法の正当性✓命題 6.2・証明の技術
  - 整列性公理 3.1・証明の技術
- マージの適用 1 回の性質✓補題 3.1・トークン化（上で展開済み）

これを使っている定理証明で参照している 2 件

学習の停止性とマージ回数の上界✓命題 4.2・トークン化
素朴な学習の計算量✓命題 4.4・トークン化

関連するノック 1 問

LLM アーキテクチャ第 2 問