基底が正規直交のとき、なぜ射影の公式は P = QQᵀ にまでつぶれ、最小二乗法の各係数はただの内積になるのでしょうか。
読み込み中…
正規直交基底による射影と最小二乗法
P=A(ATA)−1ATP = A(A^T A)^{-1} A^TP=A(ATA)−1AT から P=QQTP = QQ^TP=QQT へ
一般の射影行列で AAA を QQQ に置き換えて逆行列を消し、射影行列を特徴づける2つの性質 (QQT)T=QQT(QQ^T)^T = QQ^T(QQT)T=QQT と (QQT)(QQT)=QQT(QQ^T)(QQ^T) = QQ^T(QQT)(QQT)=QQT を確かめましょう。
正方行列の場合の QQT=IQQ^T = IQQT=I
正方行列 QQQ では列空間が空間全体なので、射影行列が単位行列になり、どのベクトルも変わらないことを書き留めましょう。
内積としての係数 x^i=qiTb\hat{x}_i = q_i^T bx^i=qiTb
正規方程式 ATAx^=ATbA^T A \hat{x} = A^T bATAx^=ATb を QTQx^=QTbQ^T Q \hat{x} = Q^T bQTQx^=QTb に簡単にし、x^=QTb\hat{x} = Q^T bx^=QTb を解いて、成分を1つ書き出しましょう。