情報科学 › LLM アーキテクチャ › トークン化
トークンの境界は文字の境界と一致するとは限らない
バイトレベル BPE では、学習で得たマージ規則の列 と、UTF-8 として正しいバイト列 で、 の中に「表すバイト列が単独では UTF-8 として正しくない」トークンが現れる例がある。したがって、トークン列を文字列に戻すときは、トークンごとに UTF-8 として解釈するのではなく、 で連結したバイト列の全体を解釈しなければならない。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 5 件、定義なども含めて 8 件）。
印の意味: ✓公理まで証明済み ・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義（直接 2 件）
▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。
- バイトレベル BPE・特殊トークン・圧縮率定義 2.4・トークン化
符号化と復号の往復✓定理 3.2・トークン化
マージの適用 1 回の性質✓補題 3.1・トークン化
- マージ規則とその適用定義 2.2・トークン化
これを使っている定理
証明で明示的に参照している定理は、まだありません。