情報科学 › LLM アーキテクチャ › トークン化
トークン列の総数と情報量
語彙の大きさを とする。
- 長さ のトークン列は全部で 個ある。
- 有限集合 から長さ のトークン列の全体への単射が存在するならば、、すなわち である。言い換えると、トークン 1 個が区別できる場合の数は 通り、ビットに直すと ビット以下である。
閉包の状態
✓ 公理まで証明済み
証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。
印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。
前提をたどる 証明が使う定理・定義
証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。
これを使っている定理
証明で明示的に参照している定理は、まだありません。