期待リスクと経験リスク

定義 2.2（「なぜ機械学習に数学が必要か」§2）

定義 2.1 の設定のもとで、予測器 $f\in\mathcal{H}$ に対し

R(f) := \mathbb{E}_{(\boldsymbol{X},Y)\sim P}\bigl[\ell(f(\boldsymbol{X}),Y)\bigr], \qquad \hat{R}_n(f) := \frac{1}{n}\sum_{i=1}^{n}\ell\bigl(f(\boldsymbol{x}_i),y_i\bigr)

をそれぞれ $f$ の期待リスク（汎化誤差）、経験リスク（訓練誤差）という。 $\hat{R}_n$ を $\mathcal{H}$ の上で最小にする予測器を選ぶという学習方針を経験リスク最小化という。

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

証明で明示的に参照している定理は、まだありません。