線形代数 · 第14回 · 動画3 · インタラクティブ教材

直線が通らないなら ― 射影で求める最小二乗の直線

I重要な公式

公式	名称	説明
$A^T A \hat{x} = A^T b$	正規方程式	解けない $Ax = b$ を、解ける正方の連立方程式に変える
$p = A\hat{x}$	射影	$A$ の列空間の中で $b$ に最も近い点
$e = b - A\hat{x}$	誤差ベクトル	列空間に垂直： $A^T e = 0$
$\lVert e \rVert^2 = \sum (b_i - p_i)^2$	二乗誤差	最小二乗法が最小にする量

II可視化1 — 二乗誤差を最小にする

3点すべてを通る直線はありません。最小二乗法は、二乗誤差の総和が最も小さい直線を選びます。

💡 直線 $b = t$ は2つの点をぴったり通りますが、二乗誤差の総和は $1$ です。最良近似直線は、どの点でも少しずつ誤差を受け入れるかわりに、総和をはるかに小さい $\tfrac{1}{6}$ に抑えます。

III可視化2 — 射影で誤差が垂直になる

列空間への $b$ の射影は、誤差が列空間に垂直になるただ1つの点です。

x 0.00

💡 動画の3次元の場合も、同じ判定が成り立ちます。 $b = (1,2,2)$ を $(1,1,1)$ と $(1,2,3)$ で張られる平面に射影すると、誤差は $A^T e = 0$ を満たします。

IV可視化3 — データが最良の当てはめをどう変えるか

データ点を動かすと、正規方程式が当てはめを計算し直します。それでも $A^TA$ は変わりません。

AᵀA = [[3, 6], [6, 14]] （固定）

💡 残差の和がいつも 0 になるのは、 $A$ のすべて 1 の列のために、誤差がその列の方向の成分をもてないからです。平均のずれは切片が吸収します。

V確認クイズ

問1

データ点 $(1,1)$ 、 $(2,2)$ 、 $(3,2)$ とモデル $b = C + Dt$ に対して、計画行列は $A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}.$ です。 $A^T A$ はどれですか。

✅ 正解です！ 左上の成分はすべて 1 の列の二乗和（ $1^2+1^2+1^2=3$ ）、右下の成分は $t$ の列の二乗和（ $1^2+2^2+3^2=14$ ）です。

❌ 惜しい！ $A^T A$ の $(i,j)$ 成分は、 $A$ の第 $i$ 列と第 $j$ 列の内積です。各成分を丁寧に計算し直してみましょう。

解答を見る

解答：

$A^T A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}$

$(1,1)$ 成分： $1(1) + 1(1) + 1(1) = 3$
$(1,2)$ 成分： $1(1) + 1(2) + 1(3) = 6$
$(2,1)$ 成分： $1(1) + 2(1) + 3(1) = 6$
$(2,2)$ 成分： $1(1) + 2(2) + 3(3) = 1 + 4 + 9 = 14$

$A^T A = \begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix}$

問2

正しいか誤りか：連立方程式 $Ax = b$ が優決定（未知数より方程式が多い）ならば、最小二乗の誤差ベクトル $e = b - A\hat{x}$ はいつも零ベクトルである。

✅ 正解です！ 優決定な連立方程式には一般に厳密な解がないので、 $e \neq 0$ です。誤差は、 $b$ が $A$ の列空間からどれだけ離れているかを測っています。

❌ 惜しい！ もし $e = 0$ なら、 $A\hat{x} = b$ が厳密に成り立ちます。でも、厳密な解はないという前提でした！「優決定」が幾何学的に何を意味するかを考えてみましょう。

解答を見る

解答：誤り。

そもそも最小二乗法が必要になるのは、連立方程式が優決定のとき、 $b$ がふつう $A$ の列空間の中にないからです。もし $e$ が零ベクトルなら $A\hat{x} = b$ が厳密に成り立つことになり、連立方程式に厳密な解がないという事実に矛盾します。

この例では、 $e = \left(-\frac{1}{6},\; \frac{1}{3},\; -\frac{1}{6}\right)^T \neq 0$ です。

誤差が零になるのは、優決定な連立方程式がたまたま解をもつ（すべての方程式を同時に満たせる）特別な場合だけです。

問3

点 $(1,1)$ 、 $(2,2)$ 、 $(3,2)$ に対する最良近似直線 $b = \frac{2}{3} + \frac{1}{2}t$ について、二乗誤差の総和 $\lVert e \rVert^2$ はいくつですか。

ヒント：各 $t$ での予測値を計算し、それぞれの残差を求め、2乗して足し合わせましょう。

✅ 正解です！ 二乗誤差の総和の最小値は $1/6 \approx 0.167$ です。この3点に対して、これより小さくできる直線はありません。

❌ 惜しい！ まず各点での予測値を計算しましょう。 $t=1$ では $\hat{b} = 2/3 + 1/2 = 7/6 \approx 1.167$ です。次にそれぞれの残差（実際の値から予測値を引いたもの）を求め、2乗して足し合わせます。

解答を見る

解答：

各データ点での予測値と残差を計算します：

$t$	実際の $b$	予測値 $\hat{b} = \frac{2}{3} + \frac{1}{2}t$	残差 $e$	$e^2$
1	1	$\frac{2}{3} + \frac{1}{2} = \frac{7}{6}$	$1 - \frac{7}{6} = -\frac{1}{6}$	$\frac{1}{36}$
2	2	$\frac{2}{3} + 1 = \frac{5}{3}$	$2 - \frac{5}{3} = +\frac{1}{3}$	$\frac{1}{9} = \frac{4}{36}$
3	2	$\frac{2}{3} + \frac{3}{2} = \frac{13}{6}$	$2 - \frac{13}{6} = -\frac{1}{6}$	$\frac{1}{36}$

$\lVert e \rVert^2 = \frac{1}{36} + \frac{4}{36} + \frac{1}{36} = \frac{6}{36} = \frac{1}{6}$

問4

$t = 1, 2, 3$ のデータに放物線 $b = C + Dt + Et^2$ を当てはめるとき、計画行列 $A$ はどうなりますか。

各行が1つのデータ点に、各列が1つの未知の係数に対応します。

✅ 正解です！ モデルに項を1つ加えるたびに、 $A$ に列が1本加わります。切片にはすべて 1 の列、1次の項には $t$ 、2次の項には $t^2$ です。このレシピは、項がいくつあっても同じように使えます。

❌ 惜しい！ 各行が1つのデータ点です。各列には、その点の $t$ の値で評価した $1$ 、 $t$ 、 $t^2$ の値が入ります。

解答を見る

解答：

モデル $b = C + Dt + Et^2$ に、各データ点の $t$ の値を代入します：

$t = 1$ : $C(1) + D(1) + E(1^2) = C + D + E$ → 行 $[1,\; 1,\; 1]$
$t = 2$ : $C(1) + D(2) + E(2^2) = C + 2D + 4E$ → 行 $[1,\; 2,\; 4]$
$t = 3$ : $C(1) + D(3) + E(3^2) = C + 3D + 9E$ → 行 $[1,\; 3,\; 9]$

$A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & 9 \end{bmatrix}$

1列目 = すべて 1（切片）、2列目 = $t$ の値（1次）、3列目 = $t^2$ の値（2次）。

方程式が3本、未知数が3つなので、この連立方程式は正方です。（ $A$ が可逆なら）厳密な解をもち、放物線は3点すべてを通ります！

正解数：0 / 4