固定した予測器では経験リスクは期待リスクに集中する

定義 2.1 の設定で、$(\boldsymbol{X}_1,Y_1),\ldots,(\boldsymbol{X}_n,Y_n)$ は分布 $P$ から独立に同じ分布に従って抽出されたものとする。予測器 $f$ は訓練データに依存せずあらかじめ固定されているとし、確率変数 $Z_i:=\ell(f(\boldsymbol{X}_i),Y_i)$ が有限の期待値 $R(f)$ と有限の分散 $\sigma_{\ell}^2$ を持つとする。このとき次が成り立つ。

1. $\mathbb{E}\bigl[\hat{R}_n(f)\bigr]=R(f)$（不偏性）。
2. $\operatorname{Var}\bigl[\hat{R}_n(f)\bigr]=\sigma_{\ell}^2/n$。
3. 任意の $t>0$ に対して $\Pr\bigl(|\hat{R}_n(f)-R(f)|\ge t\bigr) \le \dfrac{\sigma_{\ell}^2}{n t^2}$。