情報科学 › LLM アーキテクチャ › トークン化

符号化と復号の往復

定理 3.2（「トークン化」§3）・ ✓公理まで証明済み

$R = (r_1, \ldots, r_m)$ を任意のマージ規則の列とする。符号化 $\mathrm{enc}_R$ は $\Sigma^{*}$ の全体で定義され、任意の記号列 $s \in \Sigma^{*}$ について

\mathrm{dec}\big(\mathrm{enc}_R(s)\big) = s

が成り立つ。とくにバイトレベル BPE では、任意のバイト列（したがって UTF-8 で表せる任意の文字列）が符号化でき、語彙に無いために表せない入力（未知語）は存在しない。

本文で読む（証明と前後の説明）→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 4 件、定義なども含めて 6 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

前提をたどる証明が使う定理・定義（直接 2 件）

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

数学的帰納法の原理✓定理 3.2・証明の技術
- 背理法の正当性✓命題 6.2・証明の技術
- 整列性公理 3.1・証明の技術
マージの適用 1 回の性質✓補題 3.1・トークン化
- 完全帰納法✓定理 4.3・証明の技術
  - 数学的帰納法の原理✓定理 3.2・証明の技術（上で展開済み）
- マージ規則とその適用定義 2.2・トークン化

これを使っている定理証明で参照している 2 件

トークン数は増えない✓命題 4.1・トークン化
トークンの境界は文字の境界と一致するとは限らない✓命題 6.3・トークン化

関連するノック 3 問