softmax とマスクつき softmax

定義 2.2（「自己注意」§2）

$\boldsymbol{z} \in \mathbb{R}^{n}$ に対し

\sigma(\boldsymbol{z})_i := \frac{e^{z_i}}{\sum_{j=1}^{n} e^{z_j}} \qquad (i = 1, \ldots, n)

で定まる写像 $\sigma : \mathbb{R}^n \to \mathbb{R}^n$ を softmax 関数という。行列に対しては行ごとに施す。

空でない部分集合 $U \subset \{1, \ldots, n\}$ に対し、マスクつき softmax $\sigma^{U} : \mathbb{R}^n \to \mathbb{R}^n$ を

\sigma^{U}(\boldsymbol{z})_i := \frac{e^{z_i}}{\sum_{j \in U} e^{z_j}} \quad (i \in U), \qquad \sigma^{U}(\boldsymbol{z})_i := 0 \quad (i \notin U)

で定める。 $U$ に入らない添字を「マスクされた」成分という。「マスクされた成分に $-\infty$ を足してから softmax を取る」という書き方は、 $\sigma^{U}$ のことを指すものとする。

閉包の状態

定義

定義は閉包の起点です（証明を要しません）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

証明で明示的に参照している定理は、まだありません。