パープレキシティの基本性質

定義 4.1 の記号のもとで、次が成り立ちます。

1. $\mathrm{PPL} = \Bigl(\prod_{t=1}^{n} q_t\Bigr)^{-1/n} = p_\theta(x)^{-1/n}$ です。すなわち、正解に割り当てた確率の幾何平均の逆数です。
2. $\mathrm{PPL} \ge 1$ で、等号はすべての $t$ で $q_t = 1$ のとき、かつそのときに限ります。
3. すべての $t$ で $q_t = 1 / |V|$（一様分布のモデル）なら $\mathrm{PPL} = |V|$ です。
4. $b > 1$ を任意の底とし、$\ell_b = -\frac{1}{n} \sum_t \log_b q_t$ とすると、$b^{\ell_b} = \mathrm{PPL}$ です。とくに、ビットで測った平均負対数尤度 $\ell_2$ とナットで測った $\ell$ は $\ell = \ell_2 \log 2$ の関係にあり、$2^{\ell_2} = e^{\ell}$ です。
5. $\mathrm{PPL} \le \dfrac{1}{n} \sum_{t=1}^{n} \dfrac{1}{q_t}$ です。