教師あり学習の設定

入力空間 $\mathcal{X}$、出力空間 $\mathcal{Y}$ を集合とし、$\mathcal{X}\times\mathcal{Y}$ 上に確率分布 $P$ が一つ定まっているとする。$P$ から独立に同じ分布に従って抽出された $n$ 個の標本

を訓練データという。予測値の空間 $\mathcal{Y}'$ を定め、写像 $f:\mathcal{X}\to\mathcal{Y}'$ を予測器、あらかじめ決めておいた予測器の集合 $\mathcal{H}$ を仮説集合という。さらに関数 $\ell:\mathcal{Y}'\times\mathcal{Y}\to[0,\infty)$ を損失関数といい、$\ell(\hat{y},y)$ は正解が $y$ のときに $\hat{y}$ と予測したことの罰則を表す。

$\mathcal{Y}=\mathbb{R}$ の場合を回帰、$\mathcal{Y}$ が有限集合の場合を分類という。