情報科学 › 機械学習の数学 › 線形回帰と最小二乗法

最小二乗解の一意性

系 5.2(「線形回帰と最小二乗法」§5) ・ ✓公理まで証明済み

X∈Rn×pX\in\mathbb{R}^{n\times p}、y∈Rn\boldsymbol{y}\in\mathbb{R}^n とする。次の 3 条件は同値である。

  1. XX の列 pp 本は一次独立、すなわち rank⁡X=p\operatorname{rank}X = p。
  2. XTXX^{\mathsf{T}}X は正則。
  3. 最小二乗解がただ 1 つ存在する。

このとき最小二乗解は

w^=(XTX)−1XTy\hat{\boldsymbol{w}} = (X^{\mathsf{T}}X)^{-1}X^{\mathsf{T}}\boldsymbol{y}

で与えられる。さらに、これらが成り立つためには n≥pn \ge p が必要である。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています(前提の定理類 4 件、定義なども含めて 5 件)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義(直接 3 件)

▸ を開くと、その項目の証明が使う前提が出ます。深い先は各項目のページでたどれます。

これを使っている定理

証明で明示的に参照している定理は、まだありません。

関連するノック 3 問