一つの解、二つの絵：最良近似直線は射影の影だった

解答：

各データ点 $(t_i, y_i)$ を $y = C + Dt$ に代入します：

$$C + D(1) = 1, \quad C + D(2) = 2, \quad C + D(3) = 2$$

行列の形で書くと：

$$\underbrace{\begin{pmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{pmatrix}}_{A} \underbrace{\begin{pmatrix} C \\ D \end{pmatrix}}_{\mathbf{x}} = \underbrace{\begin{pmatrix} 1 \\ 2 \\ 2 \end{pmatrix}}_{\mathbf{b}}$$

右辺 $\mathbf{b} = (1, 2, 2)$ は $y$ の値を集めたものです。

よくある間違い：

• $(1, 2, 3)$ = $t$ の値 = $A$ の2列目
• $(1, 1, 1)$ = 1 が並んだ列 = $A$ の1列目
• $(2/3, 1/2)$ = 解 $\hat{\mathbf{x}}$ であって、$\mathbf{b}$ ではない

解答：誤り

$\mathbf{p} \cdot \mathbf{e} = 0$ を確かめても、1つのベクトル（$\mathbf{p}$）に垂直であることしかわかりません。

最小二乗法の条件は次のとおりです：

$$A^T\mathbf{e} = \mathbf{0}$$

つまり $\mathbf{e}$ は、列空間のすべてのベクトルに垂直でなければなりません。 $\mathbf{a}_1$ にも $\mathbf{a}_2$ にも、そしてそれらのあらゆる一次結合にもです。

$\mathbb{R}^3$ には、$\mathbf{p}$ には垂直でも平面全体には垂直でないベクトルがたくさんあります。 $\|\mathbf{e}\|$ を最小にするのは、列空間全体に垂直なベクトルだけです。

解答：

$$\mathbf{e} \cdot \mathbf{a}_2 = \left(-\frac{1}{6}\right)(1) + \left(\frac{1}{3}\right)(2) + \left(-\frac{1}{6}\right)(3)$$

6分のいくつかにそろえると：

$$= -\frac{1}{6} + \frac{4}{6} - \frac{3}{6} = \frac{-1 + 4 - 3}{6} = \frac{0}{6} = 0$$

これで $\mathbf{e} \perp \mathbf{a}_2$ が確かめられました。これは $A^T\mathbf{e} = \mathbf{0}$ に含まれる2つの条件のうちの1つです。 （もう一方の条件 $\mathbf{e} \cdot \mathbf{a}_1 = 0$ も成り立ちます。）

解答：

列空間 $\text{Col}(A)$ は、$C$ と $D$ を動かしたときのベクトル $C\mathbf{a}_1 + D\mathbf{a}_2$ 全体からなります。そのようなベクトルはどれも、次の当てはめ値を与えます：

$$(C + D, \; C + 2D, \; C + 3D)$$

これは、直線 $y = C + Dt$ の $t = 1, 2, 3$ での値です。

したがって、$\text{Col}(A)$ = 当てはめ可能なすべての直線 $y = C + Dt$ の集合です。

二つの絵の対応をまとめると：