部分空間への射影

$p = A\hat{x}$ とおき、条件 $a_i^T(b - A\hat{x}) = 0$ を $A$ のすべての列について書いて、それらを $A^T(b - A\hat{x}) = 0$ にまとめ、$e$ が左零空間にあることを示しましょう。

$\hat{x} = (A^TA)^{-1}A^Tb$、$p = A(A^TA)^{-1}A^Tb$、$P = A(A^TA)^{-1}A^T$ を書き、$A^TA$ がスカラーになる1列の場合に、3つともが前の公式に戻ることを確かめましょう。

$(A^TA)^{-1}$ を $A^{-1}(A^T)^{-1}$ に分けるには $A$ が正方で可逆でなければならないことを書き留め、さらに特別な場合 $P = I$（列空間が $\mathbb{R}^n$ 全体のとき）も書き添えましょう。

$A(A^TA)^{-1}A^T$ を因子ごとに転置し、次にそれ自身と掛けて内側の $A^TA$ をその逆行列と打ち消しましょう。どちらも、どんな次元の部分空間でも成り立ちます。