データ空間で直線を当てはめることと、ベクトルを列空間に射影することが、同じ最小二乗解を表しているのはなぜでしょうか。
読み込み中…
最小二乗法の2つの幾何学的な絵
データ空間の絵とベクトル空間の絵
点、最良近似直線、縦の誤差 e1,e2,e3e_1, e_2, e_3e1,e2,e3 を描き、その隣に R3\mathbb{R}^3R3 の bbb と、その射影 ppp、誤差 e=b−pe = b - pe=b−p を描きましょう。
直交条件 ATe=0A^Te = 0ATe=0
p=(7/6, 5/3, 13/6)p = (7/6,\ 5/3,\ 13/6)p=(7/6, 5/3, 13/6) と e=(−1/6, 1/3, −1/6)e = (-1/6,\ 1/3,\ -1/6)e=(−1/6, 1/3, −1/6) を計算し、eee と ppp、および各列 (1,1,1)(1,1,1)(1,1,1)、(1,2,3)(1,2,3)(1,2,3) との内積をとって、どれも 0 になることを確かめましょう。
係数 CCC と DDD の二重の役割
同じ組が、1つ目の絵では最良近似直線を決め、2つ目の絵では p=Ax^p = A\hat{x}p=Ax^ をつくる列の一次結合を決めることを書きましょう。