埋め込みは行の取り出しで、勾配は現れた行だけに入る

命題 2.2（「埋め込みと位置符号化」§2）・ ✓公理まで証明済み

$E \in \mathbb{R}^{|V| \times d}$ とする。

任意のトークン $v$ について $\boldsymbol{e}_v^{\mathsf{T}} E$ は $E$ の第 $v$ 行である。
トークン列 $(t_1, \ldots, t_n)$ の埋め込みを $X \in \mathbb{R}^{n\times d}$ とし、損失が全微分可能な関数 $g : \mathbb{R}^{n \times d} \to \mathbb{R}$ によって $\mathcal{L} = g(X)$ と書けるとする（ $E$ は $X$ を通してだけ $\mathcal{L}$ に入るとする）。このとき

\frac{\partial \mathcal{L}}{\partial E_{vj}} = \sum_{i \,:\, t_i = v} \frac{\partial g}{\partial X_{ij}}(X) \qquad (1 \le v \le |V|,\ 1 \le j \le d)

が成り立つ。とくに、列に現れないトークン $v$ の行については $\partial \mathcal{L} / \partial E_{vj} = 0$ である。

閉包の状態

✓ 公理まで証明済み

証明が使う定理を前提としてたどると、Rikai の中の証明だけで定義・公理（物理では基本仮定）までつながっています（前提の定理類 1 件、定義なども含めて 2 件）。

印の意味: ✓公理まで証明済み・ △証明あり（閉包未完）・ ※主張のみ。テーマごとの集計は閉包の状況。

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

証明で明示的に参照している定理は、まだありません。