タグ: 最小二乗法

← タグ一覧

• 線形回帰と最小二乗法：正規方程式を直交射影として読む二乗和誤差の最小化が正規方程式 X^T X w = X^T y に帰着することを代数と偏微分の両面から導出し、その解が観測ベクトルの列空間への直交射影であることを示す。ランク条件と数値的安定性まで扱う。情報科学機械学習の数学学部線形回帰最小二乗法正規方程式直交射影約 64 分
• なぜ機械学習に数学が必要か：学習を「損失の最小化」に書き直す回帰も分類も経験リスク最小化という一つの最適化問題に帰着することを示し、線形代数・微分積分・確率統計がその各段階でどう働くかを、最小二乗法と勾配降下法の完全な証明で確かめます。情報科学機械学習の数学学部機械学習経験リスク最小化最小二乗法勾配降下法最尤推定約 38 分
• データの分析：平均・分散・相関・回帰直線の「なぜ」平均・中央値・分散・相関係数・回帰直線を、「誤差の二乗和（絶対値の和）の最小化」と内積の言葉で証明し、|r| ≤ 1、分散の分解、Simpson のパラドックスまで丁寧に扱う。数学高校数学：場合の数・確率・統計高校〜一般データの分析分散相関係数回帰直線最小二乗法約 21 分
• 線形モデル：最小二乗、Gauss–Markov の定理、Cochran の定理と t 検定・F 検定線形モデルの最小二乗推定量を直交射影として導き、Gauss–Markov の定理を証明する。正規誤差のもとで Cochran の定理から t 分布・F 分布を得て検定と区間推定を行い、一般化最小二乗と相関のあるデータの誤差評価まで扱う。数学数理統計学学部線形モデル最小二乗法Gauss–MarkovCochran の定理F 検定約 31 分
• 最小二乗問題：正規方程式・QR・特異値分解と感度最小二乗解の特徴づけと擬似逆による最小ノルム解、QR 分解による解法の後退安定性を証明し、感度の評価 2κ/cos θ + κ² tan θ を擬似逆の微分から導く。正規方程式が κ² u を失う理由と、打ち切り特異値分解・Tikhonov 正則化を数値で確かめる。数学数値線形代数修士最小二乗法擬似逆行列QR分解正則化感度解析約 39 分