# 行列のノルムと線形方程式の条件数：誘導ノルム・後退誤差・特異行列までの距離
> ベクトルと行列のノルム、スペクトル半径との関係、逆行列の摂動と条件数を定義から証明し、Rigal–Gaches と Oettli–Prager の後退誤差、Skeel の条件数、特異行列までの距離 1/κ を導いて、Hilbert 行列と離散 Laplace 行列で確かめる。
> https://rikai.mugen-giken.com/mathematics/numerical-linear-algebra/norms-and-conditioning
## 0. この記事の要点
連立一次方程式をコンピュータで解くと、答えには必ず小さな誤差が混じります。同じ計算でも、うまく解ける問題と、ほんの少しの誤差で答えが大きくずれる問題があります。この記事では「ずれやすさ」を 1 つの数（条件数）で測り、計算した答えが何桁まで信用できるかを事前に見積もる方法を、定義と証明から組み立てます。読み終えると、行列の「大きさ」を測る物差し（ノルム）と、誤差の 2 種類の測り方（前進誤差と後退誤差）の関係を説明できるようになります。
- $\mathbb{K}^n$（$\mathbb{K}=\mathbb{R}$ または $\mathbb{C}$）のノルムはすべて同値です。これは単位球面のコンパクト性から出ます。行列の**誘導ノルム**は $\|A\|_1$ が列和の最大、$\|A\|_\infty$ が行和の最大、$\|A\|_2$ が最大特異値です。
- スペクトル半径（固有値の絶対値の最大）は任意の誘導ノルム以下で、逆に $\varepsilon>0$ ごとに $\|A\|\le\rho(A)+\varepsilon$ となる誘導ノルムがあります。帰結として $A^k\to0\iff\rho(A)<1$ です。
- $\kappa(A)=\|A\|\|A^{-1}\|$ は線形方程式の**相対的な感度**の上限で、同時に「$A$ から特異行列までの相対距離の逆数」です（2 ノルムでは等式）。
- 近似解 $\boldsymbol{y}$ の**後退誤差**（$\boldsymbol{y}$ を厳密解にするためのデータの最小の相対摂動。「問題をどれだけ動かせば、いま得た答えが正解になるか」という測り方）は残差から閉じた式で計算できます。ノルムで測れば Rigal–Gaches の式、成分ごとに測れば Oettli–Prager の式です。
- 前進誤差 $\lesssim$ 条件数 $\times$ 後退誤差。Hilbert 行列では後退誤差が $10^{-17}$ 程度でも、前進誤差は $\kappa_2$ に比例して $n=13$ で 1 を超えます。
- エルミート行列の固有値は $\|E\|_2$ 以上には動きません（条件数 1）。離散 Laplace 行列の条件数は閉じた形 $\cot^2(\pi h/2)$ をもち、$4/(\pi^2h^2)$ にほぼ等しいことを示します。
## 1. 動機
数値線形代数の結果を評価するとき、2 つの問いを分けて考えます。1 つは**問題の感度**、すなわちデータ $(A,\boldsymbol{b})$ を少し動かしたとき解 $\boldsymbol{x}$ がどれだけ動くか、です。これは算法に関係なく問題そのものの性質で、条件数で測ります。もう 1 つは**算法の安定性**、すなわち計算した $\widehat{\boldsymbol{x}}$ が「少し動かしたデータの厳密解」になっているか、です。これは後退誤差で測ります。後退誤差が単位丸め $u$ の程度に小さい算法を後退安定といいます。
この 2 つを掛け合わせると前進誤差の見積もり
$$
\frac{\|\widehat{\boldsymbol{x}}-\boldsymbol{x}\|}{\|\boldsymbol{x}\|}\ \lesssim\ \kappa(A)\times(\text{後退誤差})
$$
が得られます。たとえば部分ピボット選択つきの Gauss 消去は（ほとんどの行列で）後退安定なので、$\kappa(A)\approx10^{k}$ なら倍精度の 16 桁のうちおよそ $k$ 桁を失う、と事前に読めます。失った桁は算法の欠陥ではなく問題の性質で、算法を替えても取り戻せません。
この記事では、その物差しを用意します。ノルムを決め、条件数を定義し、摂動定理と後退誤差の公式を証明します。以後の章（[LU 分解](/mathematics/numerical-linear-algebra/lu-and-pivoting#def-lu)、QR 分解、最小二乗、固有値計算、反復法）はすべてこの物差しで評価されます。スカラーの問題の条件数と後退安定性の一般論は数値解析のテーマで扱い、この記事はその行列版です。
## 2. 準備
$\mathbb{K}$ は $\mathbb{R}$ または $\mathbb{C}$ です。内積は $\langle\boldsymbol{x},\boldsymbol{y}\rangle=\boldsymbol{y}^{*}\boldsymbol{x}$、行列の絶対値 $|A|$ は成分ごとにとり、行列・ベクトルの不等号 $|E|\le F$ も成分ごとです。$A\in M_{m,n}(\mathbb{K})$ の特異値を $\sigma_1\ge\sigma_2\ge\cdots$ と大きい順に書き、正則な $A\in M_n(\mathbb{K})$ では $\sigma_n>0$ が最小の特異値です（