バイトレベル BPE・特殊トークン・圧縮率

UTF-8 は、Unicode の符号位置（文字に割り当てた整数）を 1〜4 バイトの列に写す規格である。符号位置が U+0000〜U+007F のとき 1 バイト 0xxxxxxx、U+0080〜U+07FF のとき 2 バイト 110xxxxx 10xxxxxx、U+0800〜U+FFFF のとき 3 バイト 1110xxxx 10xxxxxx 10xxxxxx、U+10000〜U+10FFFF のとき 4 バイト 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx になる（x に符号位置の 2 進表示を上位から入れる。[4]）。先頭が 10 のバイトを継続バイトという。

$\Sigma = \{0, \ldots, 255\}$ とし、文字列を UTF-8 のバイト列に直してから BPE の学習・符号化を行う方式をバイトレベル BPE という。

文の終わりや区切りを表すために、マージ規則とは別に語彙へ加える id を特殊トークンという。特殊トークンは符号化 $\mathrm{enc}_R$ の出力には現れず、システムが列に挿入する。

空でないバイト列 $s$ について、$|s| / |\mathrm{enc}_R(s)|$ を $s$ に対する圧縮率（1 トークンあたりのバイト数）という。