多層パーセプトロン

$L \ge 1$、$n_0, n_1, \ldots, n_L \in \mathbb{N}$ とする。各 $\ell = 1, \ldots, L$ について行列 $W^{(\ell)} \in \mathbb{R}^{n_\ell \times n_{\ell-1}}$、ベクトル $\boldsymbol{b}^{(\ell)} \in \mathbb{R}^{n_\ell}$、および $C^1$ 級の 1 変数関数 $\sigma^{(\ell)} : \mathbb{R} \to \mathbb{R}$（活性化関数）が与えられているとする。入力 $\boldsymbol{x} \in \mathbb{R}^{n_0}$ に対し $\boldsymbol{a}^{(0)} := \boldsymbol{x}$ と置き、$\ell = 1, \ldots, L$ の順に

で定まる $\boldsymbol{a}^{(L)} \in \mathbb{R}^{n_L}$ を出力とする写像を、$L$ 層の多層パーセプトロンという。$\boldsymbol{z}^{(\ell)}$ を第 $\ell$ 層の前活性、$\boldsymbol{a}^{(\ell)}$ を活性と呼ぶ。パラメータの全体を $\boldsymbol{\theta} = \big(W^{(1)}, \boldsymbol{b}^{(1)}, \ldots, W^{(L)}, \boldsymbol{b}^{(L)}\big)$ と書く。

さらに正解 $\boldsymbol{y}$ に対する $C^1$ 級の損失関数 $\mathcal{L}(\cdot, \boldsymbol{y}) : \mathbb{R}^{n_L} \to \mathbb{R}$ を与え、$E := \mathcal{L}\!\left(\boldsymbol{a}^{(L)}, \boldsymbol{y}\right)$ と置く。