情報科学 › LLM アーキテクチャ › トークン化

マージ規則とその適用

定義 2.2(「トークン化」§2)

語彙 (V,⟨ ⁣⟨⋅⟩ ⁣⟩)(V, \langle\!\langle\cdot\rangle\!\rangle) のトークン a,b∈Va, b \in V と、VV に属さない新しい id cc の組 r=(a,b↦c)r = (a, b \mapsto c) をマージ規則という。規則 rr は語彙を V′:=V∪{c}V' := V \cup \{c\}、⟨ ⁣⟨c⟩ ⁣⟩:=⟨ ⁣⟨a⟩ ⁣⟩⟨ ⁣⟨b⟩ ⁣⟩\langle\!\langle c \rangle\!\rangle := \langle\!\langle a \rangle\!\rangle \langle\!\langle b \rangle\!\rangle に広げる。

規則 rr の適用 Mr:V′∗→V′∗M_r : V'^{*} \to V'^{*} を、列の長さについて再帰的に次で定める。

Mr(ε)=ε,Mr(t1)=(t1),Mr(t1t2u)={c Mr(u)(t1,t2)=(a,b) のときt1 Mr(t2u)それ以外M_r(\varepsilon) = \varepsilon, \qquad M_r(t_1) = (t_1), \qquad M_r(t_1 t_2 u) = \begin{cases} c \, M_r(u) & (t_1, t_2) = (a, b) \text{ のとき} \\ t_1 \, M_r(t_2 u) & \text{それ以外} \end{cases}

ここで u∈V′∗u \in V'^{*} は残りの列である。すなわち列を左から走査し、aa の直後に bb があればその 2 個を cc 1 個に置き換えて 2 つ進み、そうでなければ 1 つ進む。

トークン列 x=(t1,…,tn)x = (t_1, \ldots, t_n) について、ペア (a,b)(a, b) の出現回数を cntx(a,b):=#{i:1≤i<n, (ti,ti+1)=(a,b)}\mathrm{cnt}_x(a, b) := \#\{ i : 1 \le i < n,\ (t_i, t_{i+1}) = (a, b)\}、MrM_r が xx の上で行う置き換えの回数を repr(x)\mathrm{rep}_r(x) と書く。repr\mathrm{rep}_r は MrM_r の定義の場合分けに沿って、repr(ε)=repr(t1)=0\mathrm{rep}_r(\varepsilon) = \mathrm{rep}_r(t_1) = 0、1 つ目の場合 repr(t1t2u)=1+repr(u)\mathrm{rep}_r(t_1t_2u) = 1 + \mathrm{rep}_r(u)、2 つ目の場合 repr(t1t2u)=repr(t2u)\mathrm{rep}_r(t_1t_2u) = \mathrm{rep}_r(t_2u) で定まる。

本文で読む(前後の説明と例)→

閉包の状態

定義

定義は閉包の起点です(証明を要しません)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理 証明で参照している 2 件

関連するノック 1 問