情報科学 › LLM アーキテクチャ › トークン化

トークン列の総数と情報量

命題 6.1(「トークン化」§6) ・ ✓公理まで証明済み

語彙の大きさを ∣V∣≥2|V| \ge 2 とする。

  1. 長さ nn のトークン列は全部で ∣V∣n|V|^{n} 個ある。
  2. 有限集合 M\mathcal{M} から長さ nn のトークン列の全体への単射が存在するならば、∣M∣≤∣V∣n|\mathcal{M}| \le |V|^{n}、すなわち log⁡2∣M∣≤nlog⁡2∣V∣\log_2 |\mathcal{M}| \le n \log_2 |V| である。言い換えると、トークン 1 個が区別できる場合の数は ∣V∣|V| 通り、ビットに直すと log⁡2∣V∣\log_2 |V| ビット以下である。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義

証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。

これを使っている定理

証明で明示的に参照している定理は、まだありません。