数学を学び直す意義：AI を読み解く三つの言語

0. この記事の要点

• LLM の内部は、線形代数（埋め込み・注意機構・低ランク近似）、微分積分（勾配・連鎖律・最適化）、確率統計（尤度・交差エントロピー・ベイズ更新）の三つの言語でほぼ記述し尽くせます。この三つが「共通言語」です。
• 数学を学び直す目的は、モデルを自作することではありません。挙動を予測し、失敗を説明し、実験を設計するためです。学習率を上げたら発散した、埋め込みの類似度が全部 0.7 くらいになる、検知精度 99% なのに現場では誤報だらけ——これらはすべて数式で説明でき、事前に見積もれます。
• 高次元空間では、無関係な二つの方向はほぼ直交します（命題 3.2、系 3.5）。「なぜ数千次元のベクトルに何十億もの概念を詰め込めるのか」は、この事実の帰結です。
• 勾配降下法が収束するかどうかは、学習率 $\eta$ と関数の平滑さ $L$ の関係 $0 < \eta < 2/L$ でほぼ決まります（補題 4.2、例 4.4）。ハイパーパラメータ調整は勘ではなく、この不等式の周りの探索です。
• 学習で最小化している交差エントロピーは、KL ダイバージェンスの最小化と同じものです（命題 5.2）。perplexity が「実質的な選択肢の数」を表すことも、この式から出ます。
• 数学を学ぶ副産物として得られる量化子の扱い（$\forall\exists$ と $\exists\forall$ の区別）と反例を作る習慣は、仕様記述・障害分析・評価設計にそのまま転用できます。

1. 動機：なぜ「使えれば十分」では足りないのか

前章 LLMとプログラミング で見たとおり、コードを書く作業の相当部分は、すでにモデルに任せられます。任せてよい範囲の目安は 委譲が得になる条件（命題 3.1）［LLMとプログラミング］ に定式化しました。API を叩き、プロンプトを整え、出力を検収する。この範囲であれば、数学の知識はほとんど要りません。実際、それで十分に成果が出る局面は多くあります。

問題は、うまくいかなかったときです。

• 社内文書の検索を埋め込みベクトルで作ったら、どの質問にも同じ文書が上位に来る。
• ファインチューニングを試したら、損失が数ステップで NaN になった。
• 異常検知モデルの精度は 99% と報告されているのに、現場の担当者は「9 割が誤報だ」と言う。
• 評価用データセットでは改善したのに、本番では悪化した。

これらはどれも、ツールの使い方の問題ではありません。空間の幾何、最適化の力学、確率の更新則という、それぞれ別の数学的な原因があります。原因の名前を知らないと、対処は「パラメータをいろいろ変えて祈る」しかなくなります。逆に名前を知っていれば、原因の切り分けは数式一本で終わることがあります。学習率を半分にすべきか、データを増やすべきか、そもそも指標が間違っているのか——判断の根拠が手に入ります。

歴史的に見ても、この構図は新しくありません。19 世紀の技術者は、蒸気機関を熱力学なしで作りました。効率を上げるには経験と勘に頼るしかなく、改良は試行錯誤でした。カルノーとクラウジウスが熱力学第二法則を定式化して初めて、「この機関の効率には理論上の上限がある」「その上限は温度比だけで決まる」と言えるようになりました。作れることと、限界を語れることは違います。

いま LLM を扱う私たちは、蒸気機関を作れるが熱力学を持たない技術者に似ています。幸い、AI の側の「熱力学」はすでに存在し、しかもその大半は大学 1〜2 年の数学です。新しい数学を発明する必要はなく、多くの人が一度は習って忘れたものを取り戻せば足ります。本章では、その「三つの言語」の中身を、実際に手を動かせる形で示します。

ノート

この記事は「数学がわかる人は偉い」という主張ではありません。数学は、AI の挙動について検証可能な予測を立てるための道具です。予測が外れたら数学の方を疑う——その往復ができることが、価値の源泉になります。

2. 三つの言語の地図

まず全体像を押さえます。LLM が文章を受け取ってパラメータを更新するまでの流れは、次の図のように分解できます。各段階に、対応する数学の分野を書き添えました。

flowchart TB
A["文章"] --> B["トークン列"]
B --> C["埋め込みベクトル: 線形代数"]
C --> D["注意機構 = 内積と行列積: 線形代数"]
D --> E["次トークンの確率分布: 確率統計"]
E --> F["交差エントロピー損失: 確率統計"]
F --> G["勾配・連鎖律・逆伝播: 微分積分"]
G --> H["パラメータ更新 = 最適化"]
H --> C

LLM の一周と、各段階を支配する数学

三つの分野の役割を一言で言い分けると、こうなります。

分野	扱うもの	LLM における現れ方
線形代数	「意味」を座標として表し、変換する	埋め込み、注意機構、低ランク近似（LoRA）、次元削減
微分積分	「少し動かしたらどう変わるか」を測る	勾配、連鎖律、逆伝播、学習率、収束と発散
確率統計	「もっともらしさ」と「自信」を測る	交差エントロピー、perplexity、温度、評価指標、ベイズ更新

以下、順に見ていきます。定理は完全な形で述べ、証明は行間を埋めます。手を動かせる箇所では数値を最後まで計算します。

3. 線形代数：意味を座標に載せる

3.1. 内積が「意味の近さ」になる仕組み

埋め込み（embedding）とは、単語や文書を $d$ 次元の実ベクトルに対応させる写像です。この対応が有用なのは、ベクトル同士の内積が「意味の近さ」の代理になるからです。

定義 3.1（内積とコサイン類似度）

$\boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^d$ に対し、内積を $\langle \boldsymbol{x}, \boldsymbol{y}\rangle = \sum_{i=1}^{d} x_i y_i$、ノルムを $\|\boldsymbol{x}\| = \sqrt{\langle \boldsymbol{x},\boldsymbol{x}\rangle}$ と定める。$\boldsymbol{x} \ne \boldsymbol{0}$, $\boldsymbol{y}\ne\boldsymbol{0}$ のとき、

$$\cos(\boldsymbol{x}, \boldsymbol{y}) = \frac{\langle \boldsymbol{x}, \boldsymbol{y}\rangle}{\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|}$$

をコサイン類似度と呼ぶ。コーシー・シュワルツの不等式により $-1 \le \cos(\boldsymbol{x},\boldsymbol{y}) \le 1$ である。

注意機構（attention）が計算しているのも、本質的にはこの内積です。クエリベクトル $\boldsymbol{q}$ と各キーベクトル $\boldsymbol{k}_j$ の内積 $\langle \boldsymbol{q}, \boldsymbol{k}_j\rangle$ を並べ、$\sqrt{d}$ で割って softmax に通す。つまり「どのトークンに注目するか」は、$d$ 次元空間での角度の計算に還元されています。

3.2. 高次元では、無関係なものはほぼ直交する

ここで素朴な疑問が生じます。$d = 768$ や $d = 4096$ という次元数は、人間の語彙や概念の数（数十万から数千万）に比べてはるかに小さい。そんな低次元に、なぜ大量の概念を「混ざらずに」詰め込めるのでしょうか。

答えは、高次元空間の幾何にあります。$\mathbb{R}^2$ で互いに 60 度以上離れた方向は 6 本しか取れませんが、$\mathbb{R}^{1024}$ ではその状況が一変します。

命題 3.2（ランダムな二方向の内積）

$d \ge 1$ とする。$\boldsymbol{u}, \boldsymbol{v}$ を単位球面 $S^{d-1} = \{\boldsymbol{x}\in\mathbb{R}^d : \|\boldsymbol{x}\|=1\}$ 上の一様分布に従う独立な確率ベクトルとする。このとき

$$\mathbb{E}[\langle \boldsymbol{u},\boldsymbol{v}\rangle] = 0, \qquad \operatorname{Var}[\langle \boldsymbol{u},\boldsymbol{v}\rangle] = \frac{1}{d}$$

が成り立つ。

証明（命題 3.2）

球面上の一様分布は回転不変です。すなわち任意の直交行列 $Q$ に対し $Q\boldsymbol{u}$ も同じ分布に従います。$\boldsymbol{v}$ と $\boldsymbol{u}$ は独立なので、$\boldsymbol{v}$ を条件付けて固定し、$\boldsymbol{v}$ を第 1 座標軸 $\boldsymbol{e}_1$ に移す直交行列 $Q$ を取ると、$\langle \boldsymbol{u},\boldsymbol{v}\rangle$ と $\langle Q\boldsymbol{u}, \boldsymbol{e}_1\rangle = (Q\boldsymbol{u})_1$ は同分布です。したがって $\langle\boldsymbol{u},\boldsymbol{v}\rangle$ は、球面上一様な単位ベクトルの第 1 成分 $u_1$ と同じ分布を持ちます。

平均について。$\boldsymbol{u}$ と $-\boldsymbol{u}$ は同分布（$Q = -I$ は直交行列）なので $u_1$ と $-u_1$ は同分布であり、期待値が存在する（$|u_1|\le 1$ より有界）ことから $\mathbb{E}[u_1] = 0$ です。

分散について。$\|\boldsymbol{u}\|=1$ より $\sum_{i=1}^{d} u_i^2 = 1$ が確率 1 で成り立ちます。両辺の期待値を取ると $\sum_{i=1}^{d}\mathbb{E}[u_i^2] = 1$。座標の入れ替えも直交変換なので、$\mathbb{E}[u_1^2] = \cdots = \mathbb{E}[u_d^2]$ であり、よって $\mathbb{E}[u_1^2] = 1/d$ です。平均が $0$ なので分散も $1/d$ になります。

∎

標準偏差は $1/\sqrt{d}$ です。$d = 1024$ なら約 $0.031$。つまり無関係な二つのベクトルのコサイン類似度は、典型的には $0.03$ 程度の大きさにしかなりません。さらに、この集中はガウス型の尾を持ちます。

定理 3.3（球面の測度集中）

$d \ge 2$ とし、$\boldsymbol{u}$ を $S^{d-1}$ 上の一様分布に従う確率ベクトルとする。任意の $t > 0$ に対し

$$\Pr\bigl[\,|u_1| \ge t\,\bigr] \le 2 e^{-d t^2 / 2}$$

が成り立つ。

注意 3.4

定理 3.3 は球面上の「帽子（cap）」の面積評価そのものです。初等的な証明は K. Ball の講義録 An Elementary Introduction to Modern Convex Geometry（Lemma 2.2）にあります。より一般的な測度集中の枠組みでの扱いは Vershynin High-Dimensional Probability 第 3 章を参照してください。ここでは結果を使います。

系 3.5（ほぼ直交する方向の本数）

$d \ge 2$, $t \in (0,1)$ とする。$n$ が

$$n < e^{d t^2 / 4}$$

を満たすならば、$\mathbb{R}^d$ の単位ベクトル $\boldsymbol{u}_1,\ldots,\boldsymbol{u}_n$ で、すべての $i \ne j$ について $|\cos(\boldsymbol{u}_i, \boldsymbol{u}_j)| < t$ となるものが存在する。

証明（系 3.5）

$\boldsymbol{u}_1,\ldots,\boldsymbol{u}_n$ を $S^{d-1}$ 上の一様分布から独立に選びます。固定した $i \ne j$ について、命題 3.2 の証明で見たとおり $\langle \boldsymbol{u}_i,\boldsymbol{u}_j\rangle$ は $u_1$ と同分布なので、定理 3.3 より

$$\Pr\bigl[\,|\langle \boldsymbol{u}_i,\boldsymbol{u}_j\rangle| \ge t\,\bigr] \le 2e^{-dt^2/2}.$$

「ある組 $(i,j)$ で $t$ 以上になる」事象の確率は、和の限界（union bound）により高々

$$\binom{n}{2}\cdot 2e^{-dt^2/2} = n(n-1)e^{-dt^2/2} < n^2 e^{-dt^2/2}$$

です。仮定 $n < e^{dt^2/4}$ より $n^2 < e^{dt^2/2}$ なので、この上界は $1$ より小さくなります。したがって「すべての組で $|\langle\boldsymbol{u}_i,\boldsymbol{u}_j\rangle| < t$」となる事象の確率は正であり、そのような配置が少なくとも一つ存在します。単位ベクトルなのでコサイン類似度は内積そのものです。

∎

例 3.6（1024 次元に何本の「概念軸」が入るか）

系 3.5 に $d = 1024$ を入れて、閾値 $t$ を変えて計算します。

• $t = 0.1$ のとき：$e^{1024 \times 0.01/4} = e^{2.56} \approx 12.9$。つまり 12 本程度。
• $t = 0.2$ のとき：$e^{1024 \times 0.04/4} = e^{10.24} \approx 2.8\times 10^{4}$。約 2 万 8 千本。
• $t = 0.3$ のとき：$e^{1024 \times 0.09/4} = e^{23.04} \approx 1.0\times 10^{10}$。約 100 億本。

「コサイン類似度 $0.3$ 未満なら実質無関係とみなす」という緩い基準を許すだけで、1024 次元に 100 億本の方向が同時に入ります。これが、比較的小さな次元の埋め込みが膨大な概念を保持できる理由です。

同時に、この計算は実務上の警告でもあります。上の見積もりは $t$ の 2 乗が指数に乗るため、$t$ を厳しくすると本数は急激に減ります。ですから、埋め込み検索で「類似度 0.8 以上を関連文書とする」といった固定閾値は、次元数とデータ分布に強く依存し、そのままでは移植できません。閾値は、実際の分布（無関係な組のコサイン類似度のヒストグラム）を見てから決めてください。

3.3. 低ランク近似：情報を削らずに小さくする

もう一つ、実務に直結する定理を挙げます。行列の特異値分解（SVD）にもとづく最良近似の定理です。

定理 3.7（Eckart–Young–Mirsky の定理（フロベニウスノルム版））

$A \in \mathbb{R}^{m\times n}$ の階数を $r$ とし、その特異値分解を

$$A = \sum_{i=1}^{r}\sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^{\mathsf{T}}, \qquad \sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0$$

とする（$\{\boldsymbol{u}_i\}$, $\{\boldsymbol{v}_i\}$ はそれぞれ正規直交系）。$1 \le k < r$ なる整数 $k$ に対し $A_k = \sum_{i=1}^{k}\sigma_i\boldsymbol{u}_i\boldsymbol{v}_i^{\mathsf{T}}$ とおく。このとき、階数が $k$ 以下のすべての行列 $B \in \mathbb{R}^{m\times n}$ について

$$\|A - B\|_F \ \ge\ \|A - A_k\|_F = \sqrt{\sum_{i=k+1}^{r}\sigma_i^2}$$

が成り立つ。ここで $\|X\|_F = \sqrt{\sum_{i,j} X_{ij}^2}$ はフロベニウスノルムである。

注意 3.8

証明は Golub & Van Loan Matrix Computations 第 2 章、または Strang Introduction to Linear Algebra 第 7 章にあります。原論文は C. Eckart and G. Young, “The approximation of one matrix by another of lower rank”, Psychometrika 1 (1936), 211–218 です。この記事では結果の使い方に集中します。

この定理が言っているのは、「$k$ 個の特異値だけ残して切り捨てる」という素朴な操作が、階数 $k$ 以下の行列の中で最良だ、ということです。近似の誤差は、捨てた特異値の 2 乗和の平方根で正確に測れます。次元削減、レコメンド、ノイズ除去、そして LoRA による省パラメータ微調整は、すべてこの一つの事実の応用です。

例 3.9（3×2 行列の最良ランク 1 近似を手で求める）

$$A = \begin{pmatrix} 1 & 1 \\ 1 & 1 \\ 1 & -1 \end{pmatrix}$$

の最良ランク 1 近似を求めます。まず

$$A^{\mathsf{T}}A = \begin{pmatrix} 3 & 1 \\ 1 & 3\end{pmatrix}$$

です（左上成分は $1^2+1^2+1^2 = 3$、非対角成分は $1\cdot 1 + 1\cdot 1 + 1\cdot(-1) = 1$）。固有値は特性方程式 $(3-\lambda)^2 - 1 = 0$ より $\lambda = 4, 2$。対応する固有ベクトルは $\boldsymbol{v}_1 = (1,1)^{\mathsf{T}}/\sqrt{2}$、$\boldsymbol{v}_2 = (1,-1)^{\mathsf{T}}/\sqrt{2}$ です。よって特異値は $\sigma_1 = \sqrt{4} = 2$, $\sigma_2 = \sqrt{2}$。

左特異ベクトルは $\boldsymbol{u}_1 = A\boldsymbol{v}_1/\sigma_1$ から得られます。

$$A\boldsymbol{v}_1 = \frac{1}{\sqrt{2}}\begin{pmatrix} 2 \\ 2 \\ 0\end{pmatrix}, \qquad \boldsymbol{u}_1 = \frac{1}{2}\cdot\frac{1}{\sqrt{2}}\begin{pmatrix}2\\2\\0\end{pmatrix} = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\1\\0\end{pmatrix}.$$

したがって

$$A_1 = \sigma_1 \boldsymbol{u}_1\boldsymbol{v}_1^{\mathsf{T}} = 2\cdot\frac{1}{\sqrt2}\begin{pmatrix}1\\1\\0\end{pmatrix}\cdot\frac{1}{\sqrt2}\begin{pmatrix}1 & 1\end{pmatrix} = \begin{pmatrix}1 & 1\\ 1& 1\\ 0 & 0\end{pmatrix}.$$

誤差を確認します。

$$A - A_1 = \begin{pmatrix}0&0\\0&0\\1&-1\end{pmatrix}, \qquad \|A-A_1\|_F = \sqrt{1^2+(-1)^2} = \sqrt2 = \sigma_2.$$

定理 3.7 の主張どおり、誤差は捨てた特異値 $\sigma_2$ に一致しました。また $\|A\|_F^2 = 6 = \sigma_1^2+\sigma_2^2 = 4 + 2$ なので、ランク 1 で全体の $4/6 \approx 66.7\%$ の「エネルギー」を保持したことになります。

注意 3.10

LoRA は、重み行列 $W \in \mathbb{R}^{m\times n}$ を凍結し、更新分だけを $\Delta W = BA$（$B\in\mathbb{R}^{m\times r}$, $A\in\mathbb{R}^{r\times n}$）という階数 $r$ の形に制限する手法です。$m = n = 4096$, $r = 8$ とすると、通常の全パラメータ更新は $4096^2 = 16{,}777{,}216$ 個の値を扱うのに対し、LoRA は $8\times(4096+4096) = 65{,}536$ 個で済みます。比率は $65{,}536 / 16{,}777{,}216 \approx 0.39\%$ です。この手法が機能する前提は「微調整で必要な更新は本質的に低ランクである」という仮説で、その良し悪しを測る物差しが 定理 3.7 の誤差評価です。詳細は Hu ら (2021) の原論文にあります。

4. 微分積分：学習は坂を下ること

4.1. 平滑性と降下補題

学習とは、損失関数 $f$ を小さくするパラメータを探すことです。もっとも基本的な方法が勾配降下法 $\boldsymbol{x}_{k+1} = \boldsymbol{x}_k - \eta\nabla f(\boldsymbol{x}_k)$ で、実務で使われる SGD や Adam もこの変形です。「学習率 $\eta$ をいくつにすべきか」という問いは、次の定義で定量化できます。

定義 4.1（L-平滑性）

$f:\mathbb{R}^n \to \mathbb{R}$ は微分可能とする。定数 $L > 0$ が存在して、すべての $\boldsymbol{x},\boldsymbol{y}\in\mathbb{R}^n$ に対し

$$\|\nabla f(\boldsymbol{x}) - \nabla f(\boldsymbol{y})\| \le L\|\boldsymbol{x}-\boldsymbol{y}\|$$

が成り立つとき、$f$ は $L$-平滑（勾配が $L$-リプシッツ）であるという。

$L$ は「勾配がどれだけ急に変わりうるか」の上限です。$f$ が 2 回微分可能なら、$L$ はヘッセ行列の固有値の絶対値の上限に相当します。

補題 4.2（降下補題と 1 ステップの減少量）

$f:\mathbb{R}^n\to\mathbb{R}$ は微分可能で $L$-平滑とする。このとき、すべての $\boldsymbol{x},\boldsymbol{y}$ に対し

$$f(\boldsymbol{y}) \le f(\boldsymbol{x}) + \langle \nabla f(\boldsymbol{x}), \boldsymbol{y}-\boldsymbol{x}\rangle + \frac{L}{2}\|\boldsymbol{y}-\boldsymbol{x}\|^2$$

が成り立つ。とくに $\boldsymbol{y} = \boldsymbol{x} - \eta\nabla f(\boldsymbol{x})$ とおくと

$$f(\boldsymbol{y}) \le f(\boldsymbol{x}) - \eta\Bigl(1 - \frac{L\eta}{2}\Bigr)\|\nabla f(\boldsymbol{x})\|^2$$

となる。したがって $\nabla f(\boldsymbol{x}) \ne \boldsymbol{0}$ かつ $0 < \eta < 2/L$ ならば $f(\boldsymbol{y}) < f(\boldsymbol{x})$ であり、$\eta = 1/L$ のとき右辺の減少量の係数 $\eta(1-L\eta/2)$ は最大値 $1/(2L)$ を取る。

証明（補題 4.2）

$g(t) = f(\boldsymbol{x} + t(\boldsymbol{y}-\boldsymbol{x}))$ とおくと $g$ は $[0,1]$ 上で微分可能で、連鎖律より $g'(t) = \langle \nabla f(\boldsymbol{x}+t(\boldsymbol{y}-\boldsymbol{x})), \boldsymbol{y}-\boldsymbol{x}\rangle$ です。微積分学の基本定理により

$$f(\boldsymbol{y}) - f(\boldsymbol{x}) = g(1)-g(0) = \int_0^1 \langle \nabla f(\boldsymbol{x}+t(\boldsymbol{y}-\boldsymbol{x})), \boldsymbol{y}-\boldsymbol{x}\rangle\,dt.$$

ここから $\langle\nabla f(\boldsymbol{x}), \boldsymbol{y}-\boldsymbol{x}\rangle = \int_0^1 \langle \nabla f(\boldsymbol{x}), \boldsymbol{y}-\boldsymbol{x}\rangle dt$ を引くと

$$f(\boldsymbol{y}) - f(\boldsymbol{x}) - \langle\nabla f(\boldsymbol{x}),\boldsymbol{y}-\boldsymbol{x}\rangle = \int_0^1 \langle \nabla f(\boldsymbol{x}+t(\boldsymbol{y}-\boldsymbol{x})) - \nabla f(\boldsymbol{x}),\ \boldsymbol{y}-\boldsymbol{x}\rangle\,dt.$$

被積分関数にコーシー・シュワルツの不等式を使い、続いて 定義 4.1 の $L$-平滑性を $\boldsymbol{x}+t(\boldsymbol{y}-\boldsymbol{x})$ と $\boldsymbol{x}$ に適用します（両者の距離は $t\|\boldsymbol{y}-\boldsymbol{x}\|$ です）。

$$\le \int_0^1 \|\nabla f(\boldsymbol{x}+t(\boldsymbol{y}-\boldsymbol{x})) - \nabla f(\boldsymbol{x})\|\,\|\boldsymbol{y}-\boldsymbol{x}\|\,dt \le \int_0^1 L t\|\boldsymbol{y}-\boldsymbol{x}\|^2 dt = \frac{L}{2}\|\boldsymbol{y}-\boldsymbol{x}\|^2 .$$

これで第 1 の不等式が示せました。

次に $\boldsymbol{y}-\boldsymbol{x} = -\eta\nabla f(\boldsymbol{x})$ を代入します。$\langle \nabla f(\boldsymbol{x}), -\eta\nabla f(\boldsymbol{x})\rangle = -\eta\|\nabla f(\boldsymbol{x})\|^2$、$\|{-\eta}\nabla f(\boldsymbol{x})\|^2 = \eta^2\|\nabla f(\boldsymbol{x})\|^2$ なので

$$f(\boldsymbol{y}) \le f(\boldsymbol{x}) - \eta\|\nabla f(\boldsymbol{x})\|^2 + \frac{L\eta^2}{2}\|\nabla f(\boldsymbol{x})\|^2 = f(\boldsymbol{x}) - \eta\Bigl(1-\frac{L\eta}{2}\Bigr)\|\nabla f(\boldsymbol{x})\|^2 .$$

係数 $\varphi(\eta) = \eta - L\eta^2/2$ は $\eta$ の 2 次関数で、$\varphi(\eta) > 0 \iff 0 < \eta < 2/L$ です。また $\varphi'(\eta) = 1 - L\eta = 0$ より $\eta = 1/L$ で最大となり、$\varphi(1/L) = 1/L - 1/(2L) = 1/(2L)$ です。

∎

$0 < \eta < 2/L$ という条件が、実務で「学習率を上げすぎると壊れる」と呼ばれている現象の正体です。閾値 $2/L$ は関数の曲がり具合で決まるので、モデルやデータが変われば変わります。

学習率が閾値 2/L の内側にあるか外側にあるかで挙動が変わる

4.2. 凸な場合の収束速度

減少するだけでは足りません。「どれくらいの速さで最小値に近づくか」まで言えるのが、次の定理です。

定理 4.3（勾配降下法の収束（凸・L-平滑の場合））

$f:\mathbb{R}^n\to\mathbb{R}$ は微分可能な凸関数で $L$-平滑とし、最小値 $f^{*} = f(\boldsymbol{x}^{*})$ を達成する点 $\boldsymbol{x}^{*}$ が存在するとする。学習率 $\eta = 1/L$ で $\boldsymbol{x}_{k+1} = \boldsymbol{x}_k - \eta\nabla f(\boldsymbol{x}_k)$ と定めると、すべての $K \ge 1$ に対し

$$f(\boldsymbol{x}_K) - f^{*} \le \frac{L\|\boldsymbol{x}_0 - \boldsymbol{x}^{*}\|^2}{2K}$$

が成り立つ。

証明（定理 4.3）

$\boldsymbol{g}_k = \nabla f(\boldsymbol{x}_k)$ と書きます。

ステップ 1（1 ステップの減少）。補題 4.2 に $\eta = 1/L$ を入れると

$$f(\boldsymbol{x}_{k+1}) \le f(\boldsymbol{x}_k) - \frac{1}{2L}\|\boldsymbol{g}_k\|^2 .$$

とくに $f(\boldsymbol{x}_0)\ge f(\boldsymbol{x}_1)\ge\cdots$ と単調非増加です。

ステップ 2（凸性）。$f$ が凸で微分可能なので、接平面が下から支えます。$\boldsymbol{x}^{*}$ を代入して

$$f(\boldsymbol{x}^{*}) \ge f(\boldsymbol{x}_k) + \langle \boldsymbol{g}_k, \boldsymbol{x}^{*}-\boldsymbol{x}_k\rangle \quad\Longleftrightarrow\quad f(\boldsymbol{x}_k) - f^{*} \le \langle \boldsymbol{g}_k, \boldsymbol{x}_k - \boldsymbol{x}^{*}\rangle .$$

ステップ 3（両者の結合）。ステップ 1 の右辺の $f(\boldsymbol{x}_k)$ にステップ 2 を使うと

$$f(\boldsymbol{x}_{k+1}) - f^{*} \le \langle \boldsymbol{g}_k, \boldsymbol{x}_k-\boldsymbol{x}^{*}\rangle - \frac{1}{2L}\|\boldsymbol{g}_k\|^2 .$$

ステップ 4（望遠鏡和にする）。$\boldsymbol{x}_{k+1} = \boldsymbol{x}_k - \boldsymbol{g}_k/L$ を使って距離の差を展開します。

$$\|\boldsymbol{x}_k-\boldsymbol{x}^{*}\|^2 - \|\boldsymbol{x}_{k+1}-\boldsymbol{x}^{*}\|^2 = \|\boldsymbol{x}_k-\boldsymbol{x}^{*}\|^2 - \Bigl\|\boldsymbol{x}_k - \boldsymbol{x}^{*} - \frac{\boldsymbol{g}_k}{L}\Bigr\|^2 = \frac{2}{L}\langle \boldsymbol{g}_k, \boldsymbol{x}_k-\boldsymbol{x}^{*}\rangle - \frac{1}{L^2}\|\boldsymbol{g}_k\|^2 .$$

両辺に $L/2$ を掛けると、右辺はちょうどステップ 3 の右辺に一致します。すなわち

$$f(\boldsymbol{x}_{k+1}) - f^{*} \le \frac{L}{2}\bigl(\|\boldsymbol{x}_k-\boldsymbol{x}^{*}\|^2 - \|\boldsymbol{x}_{k+1}-\boldsymbol{x}^{*}\|^2\bigr).$$

ステップ 5（総和と単調性）。$k = 0,1,\ldots,K-1$ について足し合わせると、右辺は望遠鏡和になり

$$\sum_{k=1}^{K}\bigl(f(\boldsymbol{x}_k)-f^{*}\bigr) \le \frac{L}{2}\bigl(\|\boldsymbol{x}_0-\boldsymbol{x}^{*}\|^2 - \|\boldsymbol{x}_K-\boldsymbol{x}^{*}\|^2\bigr) \le \frac{L}{2}\|\boldsymbol{x}_0-\boldsymbol{x}^{*}\|^2 .$$

ステップ 1 の単調性より、左辺の各項は最後の項 $f(\boldsymbol{x}_K)-f^{*}$ 以上です。よって左辺 $\ge K\bigl(f(\boldsymbol{x}_K)-f^{*}\bigr)$ となり、$K$ で割れば主張を得ます。

∎

誤差が $O(1/K)$ で減る、という結論は覚えておく価値があります。誤差を 10 分の 1 にするには反復回数を 10 倍にする必要がある、ということだからです。「あと少し学習を回せば急に良くなる」ことは、この状況では起きません。改善したければ、反復数ではなく問題の条件（前処理、正規化、モーメンタム）を変える必要があります。

例 4.4（1 次元二次関数で学習率の閾値を確かめる）

$f(x) = \frac{a}{2}x^2$（$a > 0$）を考えます。$f'(x) = ax$ なので $|f'(x)-f'(y)| = a|x-y|$ となり、この $f$ は $L = a$ で $L$-平滑です（定義 4.1）。勾配降下法は

$$x_{k+1} = x_k - \eta a x_k = (1-\eta a)x_k$$

なので $x_k = (1-\eta a)^k x_0$ です。$|1-\eta a| < 1 \iff 0 < \eta < 2/a = 2/L$ となり、補題 4.2 の条件と一致します。

具体的に $a = 1$（すなわち $L = 1$、閾値は $\eta = 2$）、$x_0 = 1$ として：

• $\eta = 1.0$：$k \ge 1$ で $x_k = 0$（1 ステップで最小点に到達）。
• $\eta = 0.5$：$x_k = 0.5^k$。10 ステップで $x_{10} \approx 9.8\times10^{-4}$。
• $\eta = 1.9$：$x_k = (-0.9)^k$。符号が反転しながら $|x_{10}| = 0.9^{10}\approx 0.349$。遅いが収束します。
• $\eta = 2.5$：$x_k = (-1.5)^k$。$|x_{10}| = 1.5^{10} \approx 57.7$、$|x_{30}| \approx 1.9\times10^{5}$。発散します。

$\eta = 2.5$ の列は、損失 $f(x_k) = x_k^2/2$ が指数的に増大するため、有限精度の演算ではやがて inf になり、そこから NaN が伝播します。「学習開始直後に損失が NaN になる」障害の多くは、この単純な力学で説明できます。対処の第一手は学習率を下げること、第二手は勾配クリッピングで実効的な $\|\boldsymbol{g}_k\|$ を抑えることです。

4.3. 連鎖律が逆伝播になる

もう一つの柱が連鎖律です。合成関数 $f = f_T\circ\cdots\circ f_1$ の微分は、ヤコビ行列の積

$$\frac{\partial f}{\partial \boldsymbol{x}} = J_T J_{T-1}\cdots J_1$$

になります。この積を右から順に計算するか、左から順に計算するかで、必要な計算量が大きく変わります。損失はスカラーなので、出力側（左）から掛けていけば、常に「行ベクトル × 行列」の計算で済みます。これが逆伝播（backpropagation）であり、パラメータが何億個あっても、勾配の計算コストが順伝播 1 回分の定数倍に収まる理由です。

ヤコビ行列の積という見方は、勾配消失・勾配爆発の理解にも直結します。各層の $J_t$ の特異値が平均的に 1 より小さければ積は指数的に 0 へ、1 より大きければ指数的に発散します。残差接続（$\boldsymbol{y} = \boldsymbol{x} + F(\boldsymbol{x})$、ヤコビ行列は $I + J_F$）や正規化層は、この積が 1 の近くに留まるようにする工夫だと読めます。

5. 確率統計：もっともらしさと自信を測る

5.1. 交差エントロピーは何を測っているか

LLM の出力は、次のトークンについての確率分布です。学習で最小化しているのは、正解分布との交差エントロピーです。

定義 5.1（交差エントロピーと KL ダイバージェンス）

有限集合 $\mathcal{X}$ 上の確率分布 $p = (p_x)_{x\in\mathcal{X}}$, $q = (q_x)_{x\in\mathcal{X}}$ に対し、

$$H(p) = -\sum_{x} p_x\log p_x, \qquad H(p,q) = -\sum_{x} p_x \log q_x, \qquad D(p\,\|\,q) = \sum_{x} p_x\log\frac{p_x}{q_x}$$

をそれぞれエントロピー、交差エントロピー、KL ダイバージェンスと呼ぶ。$p_x = 0$ の項は $0$ と約束し、$p_x > 0$ かつ $q_x = 0$ の場合は $D(p\|q) = +\infty$ とする。対数の底は $e$（単位は nat）とする。定義から直ちに $H(p,q) = H(p) + D(p\|q)$ が成り立つ。

命題 5.2（ギブスの不等式）

上の記法のもとで、$D(p\,\|\,q) \ge 0$ である。等号が成り立つのは、$p_x > 0$ を満たすすべての $x$ について $p_x = q_x$ となるとき、かつそのときに限る。とくに $H(p,q)\ge H(p)$ である。

証明（命題 5.2）

$p_x > 0$ なる $x$ が存在して $q_x = 0$ なら $D(p\|q)=+\infty > 0$ なので、以下 $p_x>0 \Rightarrow q_x>0$ とします。$S = \{x : p_x > 0\}$ とおきます。

$t > 0$ に対する不等式 $\log t \le t - 1$ を使います（これは $\psi(t) = t-1-\log t$ が $\psi'(t) = 1 - 1/t$ より $t=1$ で最小値 $\psi(1)=0$ を取ることからわかります。等号は $t=1$ のときのみ）。$t = q_x/p_x$ とおくと

$$-D(p\|q) = \sum_{x\in S} p_x\log\frac{q_x}{p_x} \le \sum_{x\in S} p_x\Bigl(\frac{q_x}{p_x}-1\Bigr) = \sum_{x\in S} q_x - \sum_{x\in S} p_x \le 1 - 1 = 0 .$$

最後の不等号では $\sum_{x\in S} q_x \le \sum_{x\in\mathcal{X}} q_x = 1$ と $\sum_{x\in S}p_x = 1$ を使いました。よって $D(p\|q)\ge 0$ です。

等号成立を調べます。等号には二つの不等号が同時に等号になることが必要で、第 1 の不等号の等号条件は各 $x\in S$ で $q_x/p_x = 1$、第 2 の等号条件は $\sum_{x\notin S} q_x = 0$ です。前者から $x\in S$ で $p_x=q_x$ が従い、逆にこれが成り立てば $\sum_{x\in S}q_x = 1$ となって後者も自動的に満たされ、$D(p\|q)=0$ になります。最後に 定義 5.1 の等式 $H(p,q) = H(p)+D(p\|q)$ から $H(p,q)\ge H(p)$ を得ます。

∎

この命題は、実務的には次の意味を持ちます。交差エントロピーの最小化は、KL ダイバージェンスの最小化と同じです。$H(p)$ はデータ側で決まる定数なので、学習が動かせるのは $D(p\|q)$ の部分だけです。到達できる損失には下限 $H(p)$ があり、それはデータそのものの曖昧さ（同じ文脈で複数の続きがありうること）です。損失が下がりきらないとき、モデルの能力不足なのかデータの本質的な曖昧さなのかを区別する視点が、ここから得られます。

例 5.3（perplexity を手で計算する）

perplexity は $\mathrm{PPL} = \exp\bigl(\frac{1}{N}\sum_{i=1}^{N} -\log q(x_i)\bigr)$、すなわち平均交差エントロピーの指数です。4 個のトークンにモデルがそれぞれ確率 $0.5,\ 0.25,\ 0.1,\ 0.05$ を与えたとします。

$$-\log 0.5 = 0.6931,\quad -\log 0.25 = 1.3863,\quad -\log 0.1 = 2.3026,\quad -\log 0.05 = 2.9957 .$$

和は $7.3777$、平均は $1.8444$ nat。よって $\mathrm{PPL} = e^{1.8444} \approx 6.32$ です。

この $6.32$ は「毎回およそ 6.3 択で迷っている」と読めます。実際、語彙 $V$ 個の一様分布なら $-\log(1/V) = \log V$ が常に成り立つので $\mathrm{PPL} = V$ となり、perplexity は実効的な選択肢の数を表す量だとわかります。損失が 0.1 下がることの意味も、$e^{0.1}\approx 1.105$ より「実効選択肢が約 10% 減った」と翻訳できます。

5.2. ベイズの定理：精度 99% が役に立たない場面

もう一つ、AI システムの評価で必ず必要になるのがベイズの更新則です。

例 5.4（検知率 99%、誤検知率 1% のモデルが出す警告の信頼度）

不正取引を検知するモデルを考えます。事前確率（実際に不正である割合）を $\Pr[D] = 0.001$、検知率（不正を正しく警告する確率）を $\Pr[+\mid D] = 0.99$、誤検知率（正常を誤って警告する確率）を $\Pr[+\mid \lnot D] = 0.01$ とします。警告が出たとき、それが本当に不正である確率 $\Pr[D\mid +]$ はいくつでしょうか。

ベイズの定理より

$$\Pr[D\mid +] = \frac{\Pr[+\mid D]\Pr[D]}{\Pr[+\mid D]\Pr[D] + \Pr[+\mid\lnot D]\Pr[\lnot D]} .$$

分子は $0.99\times 0.001 = 0.00099$、分母の第 2 項は $0.01\times0.999 = 0.00999$ なので

$$\Pr[D\mid+] = \frac{0.00099}{0.00099+0.00999} = \frac{0.00099}{0.01098} \approx 0.0902 .$$

すなわち約 9%。警告 11 件のうち本物は 1 件です。現場の「9 割が誤報」という感覚は正しく、モデルの「精度 99%」という報告も（別の意味で）正しい。両者が食い違うのは、事前確率 $0.001$ が効いているからです。

改善の方向も式が教えてくれます。分母を支配しているのは $\Pr[+\mid\lnot D]\Pr[\lnot D]$ の項なので、検知率 $0.99$ を $0.999$ に上げてもほとんど変わりません（$0.0910$ にしかなりません）。効くのは誤検知率で、$0.01$ を $0.001$ にすれば $\Pr[D\mid+] = 0.00099/(0.00099+0.000999) \approx 0.498$ と約 50% まで上がります。どの数字を改善すべきかが、この計算だけで決まります。同じ形の比較を、LLM への作業委譲の文脈で行ったのが 偽陽性率と成功率、どちらを改善すべきか（例 7.3）［LLMとプログラミング］ です。

注意

評価指標を「正解率（accuracy）」だけで語るのは、この例のように偏った分布ではほぼ無意味です。全件を「正常」と判定するだけのモデルでも正解率は 99.9% になります。適合率・再現率、あるいは事前確率を明示した上での事後確率で語ってください。人手やテストによる検査を「偽陽性率つきの検証器」として扱う枠組みは 検証器と偽陽性率（定義 2.2）［LLMとプログラミング］ にあります。

6. 抽象化と論理：量化子の順序が仕様を決める

ここまでは「AI を理解するための数学」でした。しかし数学を学び直す効用は、内容そのものだけではありません。主張を正確に述べる訓練が、そのまま仕様記述と障害分析の能力になります（仕様を述べること自体が避けられない情報量を持つ、という見方は 仕様の記述長の下界（命題 6.2）［AI時代のITエンジニアの生存戦略］ にまとめました）。

もっとも実利の大きい訓練が、量化子（$\forall$「すべての」と $\exists$「ある」）の順序を意識することです。次の二つの定義を比べてください。

定義 6.1（連続と一様連続）

$I\subset\mathbb{R}$ を区間、$f: I\to\mathbb{R}$ とする。

$f$ が $I$ 上連続であるとは、

$$\forall a\in I,\ \forall \varepsilon > 0,\ \exists \delta > 0,\ \forall x\in I:\quad |x-a| < \delta \implies |f(x)-f(a)| < \varepsilon$$

が成り立つことをいう。

$f$ が $I$ 上一様連続であるとは、

$$\forall \varepsilon > 0,\ \exists \delta > 0,\ \forall a\in I,\ \forall x \in I:\quad |x-a| < \delta \implies |f(x)-f(a)| < \varepsilon$$

が成り立つことをいう。

二つの論理式は、$\exists\delta$ と $\forall a$ の順序だけが違います。連続では $\delta$ は $a$ ごとに選び直してよく、一様連続では $\delta$ が $a$ に依存せず一つで済む必要があります。この違いは本質的です。

例 6.2（連続だが一様連続でない関数）

$I = (0,1]$、$f(x) = 1/x$ とします。$f$ は $I$ 上で連続です（各点 $a>0$ で分母が $0$ にならないため）。しかし一様連続ではありません。

証明します。$\varepsilon_0 = 1$ とおきます。任意の $\delta > 0$ に対し、$n$ を $1/(n(n+1)) < \delta$ となる十分大きい自然数に取り（$n(n+1)\to\infty$ なので取れます）、$x_n = 1/n$, $a_n = 1/(n+1)$ とします。すると

$$|x_n - a_n| = \frac{1}{n}-\frac{1}{n+1} = \frac{1}{n(n+1)} < \delta$$

ですが、

$$|f(x_n)-f(a_n)| = |n - (n+1)| = 1 \ge \varepsilon_0 .$$

よって「$\varepsilon_0=1$ に対しては、どんな $\delta$ を取っても反例の組が存在する」ことになり、一様連続の定義は満たされません。原点に近づくほど傾きが急になるため、$\delta$ を $a$ に依存させないと $\varepsilon$ を守れないのです。

この構造は、システムの仕様にそのまま現れます。

• 「すべてのリクエストに対し、あるサーバが 200ms 以内に応答する」——リクエストごとに応答するサーバが違ってよい。
• 「あるサーバが存在し、すべてのリクエストに 200ms 以内に応答する」——単一のサーバで全負荷を捌ける。

後者は前者よりはるかに強い主張です。SLA、権限設計（「すべてのユーザにあるロールが割り当てられる」と「あるロールがすべてのユーザに割り当てられる」）、リトライ設計など、量化子の順序を取り違えると設計が壊れる場所は無数にあります。日本語は語順が緩く、両者を同じ文で書けてしまいます。だからこそ、論理式に直して確認する習慣が効きます。

もう一つ、数学が鍛えるのは反例を作る習慣です。例 6.2 で行ったのは「仮定を一つ落としたら何が壊れるか」を具体的に示す作業でした。この作業は、AI システムの評価設計と同じ形をしています。「このプロンプトはうまく動く」という主張に対し、反例（動かない入力）を系統的に探す。境界値、空入力、極端に長い入力、想定外の言語。LLM の出力に対しては、この反例探しがそのまま もっともらしい誤り（定義 7.1）［LLMとプログラミング］ の検出になります。数学の演習で身につく「主張を疑って最小の反例を作る」思考は、そのままテストケース設計になります。

ヒント

定理を読むとき、仮定を一つずつ外して「何が壊れるか」を考えてみてください。定理 4.3 で凸性を外すと、収束先が局所最小点になり大域最小値への評価は失われます。$L$-平滑性を外すと 補題 4.2 が使えず、そもそも 1 ステップで損失が減る保証がなくなります。この読み方が、定理を「暗記するもの」から「使える道具」に変えます。

7. 何を、どの順で学び直すか

最後に、実務家向けの現実的な道筋を示します。目標は「教科書を通読すること」ではなく、上で見たような計算を自力でできることです。

順序	分野	最低限の到達点	到達を確認する問い
1	線形代数	行列積・ノルム・内積・固有値・特異値分解を計算できる	例 3.9 を見ずに解けるか
2	確率統計	条件付き確率・ベイズの定理・期待値と分散・尤度	例 5.4 の改善方針を自分で導けるか
3	微分積分	偏微分・勾配・連鎖律・テイラー展開の 2 次まで	補題 4.2 の $2/L$ がどこから来たか説明できるか
4	論理・集合	量化子の順序、否定の取り方、反例の構成	定義 6.1 の二つの式の違いを人に説明できるか

順序に理由があります。線形代数が最初なのは、埋め込み・注意機構・低ランク近似という「今日から使える」応用が最も多いからです。確率統計を 2 番目に置いたのは、評価と意思決定に直結し、しかも 例 5.4 のように誤解が高くつくからです。微分積分は学習の内部に踏み込むときに必要になります。論理は最後に置きましたが、実は最初から効いています。

学び方について、判断を一つ添えます。証明を読むだけでなく、手で計算する時間を確保するのがよいでしょう。 例 3.9 の $3\times2$ 行列を紙で分解する 15 分は、SVD の解説を 10 本読むより残ります。数値の裏付けを取るなら NumPy が便利です。

import numpy as np

A = np.array([[1.0, 1.0],
              [1.0, 1.0],
              [1.0, -1.0]])

U, s, Vt = np.linalg.svd(A, full_matrices=False)
print(s)                      # [2.         1.41421356]

A1 = s[0] * np.outer(U[:, 0], Vt[0, :])
print(np.round(A1, 6))        # [[1. 1.] [1. 1.] [0. 0.]]
print(np.linalg.norm(A - A1)) # 1.4142135623730951  = sigma_2

手計算の結果と一致しました。この「手で解く → コードで検算する」往復が、もっとも定着します。

AI 時代に価値を出し続けるための全体戦略は AI時代のITエンジニアの生存戦略 にまとめました。自動化がどこで頭打ちになるか、その上限を与えるのが 自動化の上限（系 3.2）［AI時代のITエンジニアの生存戦略］ です。数学はその中の一本の柱です。モデルを作る人になるためではなく、モデルの出力を疑い、説明し、制御する側に立つための投資だと考えてください。

8. 演習

演習 8.1易

$d = 768$ 次元の単位球面から独立に一様に選んだ二つのベクトル $\boldsymbol{u},\boldsymbol{v}$ について、コサイン類似度の標準偏差を求めよ。またチェビシェフの不等式を用いて $\Pr[|\cos(\boldsymbol{u},\boldsymbol{v})| \ge 0.1]$ の上界を求め、定理 3.3 から得られる上界と比較せよ。

解答

単位ベクトルなのでコサイン類似度は内積そのものです。命題 3.2 より分散は $1/768$、標準偏差は $1/\sqrt{768} \approx 0.0361$ です。

チェビシェフの不等式は、平均 $0$ ・分散 $\sigma^2$ の確率変数 $X$ に対し $\Pr[|X|\ge t]\le \sigma^2/t^2$ を与えます。$t = 0.1$ を代入して

$$\Pr[|\langle\boldsymbol{u},\boldsymbol{v}\rangle|\ge 0.1] \le \frac{1/768}{0.01} = \frac{1}{7.68} \approx 0.130 .$$

一方 定理 3.3 からは

$$2e^{-768\times 0.01/2} = 2e^{-3.84} \approx 2\times 0.02147 \approx 0.0429$$

です。指数型の評価のほうが 3 倍ほど強い上界を与えます。差は $t$ を大きくするとさらに開き、$t=0.3$ では前者が $0.0145$、後者が $2e^{-34.56}\approx 2\times10^{-15}$ になります。チェビシェフは分散しか使わないため、高次元の集中現象を捉えきれません。

演習 8.2標準

$f(x) = \frac{a}{2}x^2$（$a>0$）に学習率 $\eta$ の勾配降下法を適用する。(1) 収束条件を $a$ と $\eta$ で表せ。(2) $a = 4$, $\eta = 0.1$ のとき、$|x_{10}/x_0|$ を求めよ。(3) $a = 4$ で $\eta = 0.5$ としたときに何が起きるか述べよ。

解答

(1) 例 4.4 と同じ計算です。$f'(x) = ax$ なので $x_{k+1} = (1-\eta a)x_k$、したがって $x_k = (1-\eta a)^k x_0$。$x_0\ne0$ から $x_k\to0$ となる条件は $|1-\eta a| < 1$、すなわち $0 < \eta < 2/a$ です。$f$ は $L = a$ で $L$-平滑なので、これは 補題 4.2 の $0<\eta<2/L$ に一致します。

(2) $1-\eta a = 1 - 0.1\times 4 = 0.6$ なので

$$\left|\frac{x_{10}}{x_0}\right| = 0.6^{10} = 0.0060466\ldots \approx 6.0\times10^{-3} .$$

損失は $f\propto x^2$ なので $0.6^{20}\approx 3.66\times10^{-5}$ 倍まで減ります。

(3) $1-\eta a = 1 - 0.5\times4 = -1$ なので $x_k = (-1)^k x_0$ です。境界 $\eta = 2/a$ にちょうど乗っているため、点は $x_0$ と $-x_0$ を永久に往復し、損失は一切減りません（発散もしません）。補題 4.2 の減少量の係数 $\eta(1-L\eta/2)$ を計算すると $0.5\times(1-4\times0.5/2) = 0.5\times 0 = 0$ となり、補題が保証する減少量が $0$ になることと整合します。実務では、損失が下がらず一定値で振動するときの原因候補として覚えておくとよいでしょう。

演習 8.3標準

あるモデルの検証損失（平均交差エントロピー、単位は nat）が $2.0$ であった。(1) perplexity を求めよ。(2) 語彙サイズ $50{,}000$ の一様分布モデルの perplexity と損失を求め、(1) と比較せよ。(3) 損失が $2.0$ から $1.9$ に改善したとき、perplexity は何 % 減るか。

解答

(1) $\mathrm{PPL} = e^{2.0} = 7.389\ldots \approx 7.39$。実効的に約 7.4 択で迷っている状態です。

(2) 一様分布では各トークンの確率が $1/50000$ なので、損失は $-\log(1/50000) = \log 50000$ です。$\log 50000 = \log 5 + 4\log 10 = 1.6094 + 9.2103 = 10.8197$ nat。perplexity は $e^{10.8197} = 50000$ です。定義 5.1 の記法でいえば、これは $q$ を一様分布に取った場合の $H(p,q)$ にあたります。学習済みモデルは $50000$ 択を実効 $7.39$ 択まで絞り込んでいることになります。

(3) $\mathrm{PPL}$ の比は $e^{1.9}/e^{2.0} = e^{-0.1} = 0.9048$ なので、約 $9.5\%$ の減少です。損失の差だけを見ると「5% の改善」に見えますが、perplexity では約 9.5% になります。損失の絶対値の差 $\Delta$ に対し perplexity は $e^{-\Delta}$ 倍になる、と覚えてください。

演習 8.4難

$\mathcal{X}=\{0,1\}$ 上で $p = (0.5,\,0.5)$、$q = (0.9,\,0.1)$ とする。(1) $D(p\|q)$ と $D(q\|p)$ を計算し、KL ダイバージェンスが対称でないことを確かめよ。(2) この非対称性が、生成モデルの学習で「モードを平均化する」挙動と「モードを一つ選ぶ」挙動のどちらに対応するかを、$D(p\|q)$ を最小化する場合について論ぜよ。

解答

(1) 定義 5.1 に従って計算します。

$$D(p\|q) = 0.5\log\frac{0.5}{0.9} + 0.5\log\frac{0.5}{0.1} = 0.5\times(-0.5878) + 0.5\times 1.6094 = -0.2939+0.8047 = 0.5108 .$$$$D(q\|p) = 0.9\log\frac{0.9}{0.5} + 0.1\log\frac{0.1}{0.5} = 0.9\times 0.5878 + 0.1\times(-1.6094) = 0.5290 - 0.1609 = 0.3681 .$$

$0.5108 \ne 0.3681$ なので対称ではありません。どちらも正であることは 命題 5.2 と整合します。

(2) $D(p\|q) = \sum_x p_x\log(p_x/q_x)$ を $q$ について最小化する状況を考えます。$p_x$ が大きいのに $q_x$ が極端に小さいと $\log(p_x/q_x)$ が大きくなり、罰が重くなります。逆に $p_x = 0$ の点では、$q_x$ がいくら大きくても項は $0$ で罰がありません。したがって $D(p\|q)$ の最小化は「$p$ が正の確率を置く場所すべてを $q$ が覆う」方向に働きます。これがモード平均化（mode-averaging）で、$p$ が二つの離れた山を持つ場合、$q$ はその中間にも確率を配る形になります。

言語モデルの通常の学習は交差エントロピー $H(p,q)$ の最小化であり、命題 5.2 で見たとおり $H(p,q) = H(p) + D(p\|q)$ なので、これは $D(p\|q)$ の最小化と同じです。学習したモデルが「無難で平均的な出力」を返しがちな傾向には、この目的関数の非対称性が寄与しています。逆向きの $D(q\|p)$ を最小化すると、$q$ は $p$ の山の一つに集中する（モード探索的な）挙動を示します。

参考文献

• G. Strang, Introduction to Linear Algebra, 5th ed., Wellesley-Cambridge Press, 2016 — 第 7 章（特異値分解と低ランク近似）。
• G. H. Golub and C. F. Van Loan, Matrix Computations, 4th ed., Johns Hopkins University Press, 2013 — 第 2 章（行列ノルムと最良低ランク近似）。
• S. Boyd and L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004 — 第 9 章（無制約最小化と降下法）。全文が著者サイトで公開されています: https://web.stanford.edu/~boyd/cvxbook/
• T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006 — 第 2 章（エントロピー、相対エントロピー、相互情報量）。
• R. Vershynin, High-Dimensional Probability: An Introduction with Applications in Data Science, Cambridge University Press, 2018 — 第 3 章（球面と高次元分布における測度集中）。
• I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning, MIT Press, 2016 — 第 2〜4 章（線形代数・確率論・数値計算の基礎）。オンライン版: https://www.deeplearningbook.org/
• E. J. Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models”, arXiv:2106.09685 (2021). https://arxiv.org/abs/2106.09685