最小二乗法と正規方程式

点 $(1,1)$、$(2,2)$、$(3,2)$ と直線 $y = C + Dt$ から3つの方程式を作り、$A$、$x$、$b$ を書いて、最小にする量 $\|Ax-b\|^2$ を書きましょう。

この例で $A^TA$ と $A^Tb$ を計算し、得られる2つの方程式を消去法と後退代入で解いて、$y = \frac{2}{3} + \frac{1}{2}t$ までたどり着きましょう。

$E = (C+D-1)^2 + (C+2D-2)^2 + (C+3D-2)^2$ を書き、$\partial E/\partial C = 0$ と $\partial E/\partial D = 0$ とおいて、得られる2つの方程式を上の方程式と照らし合わせましょう。

遠く離れたデータ点が1つあると、その誤差が2乗されたとき当てはめ直線にどんな影響が出るかを書き、そのような点を外れ値と呼ぶことと、別の手法もあることを書き留めましょう。