線形代数 · 第15回 · 動画2 · インタラクティブ教材

完全な解がないとき：誤差を2乗すると最良近似直線が見つかるわけ

I重要な公式

公式	名称	説明
$y = C + Dt$	最良近似直線	切片 $C$ 、傾き $D$
$E = \\|Ax - b\\|^2 = \sum e_i^2$	二乗誤差の総和	残差の二乗和
$A^T A \hat{x} = A^T b$	正規方程式	これを解いて最良のパラメータ $\hat{x}$ を求める
$e = b - A\hat{x} \perp \text{Col}(A)$	直交性	誤差は列空間に垂直

II可視化1 — 最小二乗法の最小値

$(1,1)$ 、 $(2,2)$ 、 $(3,2)$ に最もよく当てはまる直線とは、残差の2乗を文字どおりの正方形として描いたとき、その面積の合計が最も小さくなる直線です。

💡 面積の合計がいちばん小さくなる直線は、ちょうど正規方程式 $A^T A\,\hat{x} = A^T b$ の解になっています。

III可視化2 — なぜ誤差を2乗するのか

傾き $D$ を動かしながら、残差を合計する3つの方法を比べます。なめらかな曲線になり、微分積分で求められるただ1つの最小値をもつのは、2乗した場合だけです。

傾き D（C = 2/3 で固定） 0.50

💡 2乗した曲線の傾きを 0 とおいた式 $\frac{dE}{dD} = 0$ は一次方程式です。これこそが $A^T A\,\hat{x} = A^T b$ の表している内容です。

IV可視化3 — 外れ値への敏感さ

2乗するとその1つの大きな誤差が増幅されるので、外れた点が1つあるだけで当てはめ全体が傾いてしまいます。

t = 4 での外れ値の y 2.50

💡 ロバストな当てはめ（最小絶対偏差法、フーバー損失）は、大きな誤差を2乗しないことでこの影響を和らげます。公式を信じる前に、必ずデータをプロットしてみましょう。

V確認クイズ

問1

データ点 $(1, 1)$ 、 $(2, 2)$ 、 $(3, 2)$ に対して、連立方程式 $Ax = b$ は次の行列とベクトルを使います：

$A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}, \quad b = \begin{bmatrix} 1 \\ 2 \\ 2 \end{bmatrix}$

$A^T A$ は何ですか。

✅ 正解です！ 左上 = 1 の和 = 3、非対角成分 = t の値の和 = 6、右下 = t² の和 = 1 + 4 + 9 = 14 です。

❌ 惜しい！ A^T A の各成分は、A の列どうしの内積です。右下の成分を計算してみましょう：1² + 2² + 3² = ?

解答を見る

解答：

$A^T = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix}$

行かける列で掛けます：

左上： $1\!\cdot\!1 + 1\!\cdot\!1 + 1\!\cdot\!1 = 3$
右上： $1\!\cdot\!1 + 1\!\cdot\!2 + 1\!\cdot\!3 = 6$
左下： $1\!\cdot\!1 + 2\!\cdot\!1 + 3\!\cdot\!1 = 6$ （対称）
右下： $1\!\cdot\!1 + 2\!\cdot\!2 + 3\!\cdot\!3 = 1 + 4 + 9 = 14$

$A^T A = \begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix}$

問2

同じデータに対する正規方程式は、次のようになります：

$3C + 6D = 5 \qquad \text{かつ} \qquad 6C + 14D = 11$

消去法で解くと、最小二乗法による最良近似直線 $y = C + Dt$ はどうなりますか。

✅ 正解です！ 最良近似直線は $y = \frac{2}{3} + \frac{1}{2}t$ で、切片は $C = \frac{2}{3}$ 、傾きは $D = \frac{1}{2}$ です。

❌ 惜しい！ 消去法を使いましょう。1つ目の式を2倍して2つ目の式から引けば、D だけが残ります。

解答を見る

解答：

正規方程式から： $3C + 6D = 5 \quad (1) \qquad 6C + 14D = 11 \quad (2)$

ステップ1： $(1)$ を2倍します： $\;6C + 12D = 10$

ステップ2： これを $(2)$ から引きます： $(6C + 14D) - (6C + 12D) = 11 - 10$ より $2D = 1$ 、よって $D = \tfrac{1}{2}$ です。

ステップ3： $(1)$ に後退代入します： $3C + 3 = 5$ より $C = \tfrac{2}{3}$ です。

$\boxed{y = \tfrac{2}{3} + \tfrac{1}{2}\,t}$

問3

正しいか誤りか： 微分積分による方法（ $\frac{\partial E}{\partial C} = 0$ と $\frac{\partial E}{\partial D} = 0$ とおく）からは、線形代数の正規方程式 $A^T A \hat{x} = A^T b$ とは異なる方程式が得られる。

✅ 正解です！ どちらの方法からも同じ正規方程式が得られます。2つの道が同じ目的地にたどり着くのは、どちらも同じ二次の目的関数を最小にしているからです。

❌ 惜しい！ どちらの方法も、同じもの、つまり二乗誤差の総和を最小にしています。同じ目的関数から、異なる最適性の条件が出てくることがありうるか考えましょう。

解答を見る

答え：誤り。どちらの方法からもまったく同じ方程式が得られます。

微分積分のルート： $E = (C + D - 1)^2 + (C + 2D - 2)^2 + (C + 3D - 2)^2$ を展開し、 $\frac{\partial E}{\partial C} = 0$ と $\frac{\partial E}{\partial D} = 0$ とおきます。整理すると：

$3C + 6D = 5 \qquad 6C + 14D = 11$

線形代数のルート： $A^T A \hat{x} = A^T b$ を直接計算します：

$\begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 5 \\ 11 \end{bmatrix}$

この2つはまったく同じです。根本的な理由は、一次式を2乗して微分すると必ず一次方程式が出てくることにあります。それこそが $A^T A \hat{x} = A^T b$ の表している内容です。

問4

ある最小二乗法の当てはめには、誤差がそれぞれ約 1 のおとなしい点が3つと、誤差が 8 の外れ値が1つ含まれています。二乗誤差の総和のうち、外れ値1つだけから来る割合はおよそどれだけですか。

✅ 正解です！ 8² = 64 は 3 × 1² = 3 よりはるかに大きいので、外れ値1つだけで二乗誤差の総和のおよそ 96% を占めます。

❌ 惜しい！ 比べる前に、各誤差を2乗するのを忘れないようにしましょう。外れ値の寄与は 8² = 64 ですが、おとなしい3点の寄与は合わせても 3 にすぎません。

解答を見る

解答：約 96%。

二乗誤差を計算します：

おとなしい3点： $1^2 + 1^2 + 1^2 = 3$
外れ値： $8^2 = 64$
合計： $3 + 64 = 67$

外れ値の割合： $\dfrac{64}{67} \approx 95.5\% \approx 96\%$

2乗すると、大きな誤差が不釣り合いに増幅されます。外れ値は4つのデータ点のうちの1つにすぎないのに、総和のおよそ 96% を占めます。だからこそ、極端な値が1つあるだけで、最小二乗法の当てはめ全体が支配されてしまうのです。

正解数：0 / 4