線形代数 · 第14回 · 動画2 · インタラクティブ教材

垂直だけで射影行列が決まる ― 部分空間への射影と正規方程式

I重要な公式

公式 名称 説明
A⊤Ax^=A⊤bA^\top A \hat{x} = A^\top b 正規方程式 垂直の条件 e⊥C(A)e \perp C(A) を行列で書いたもの
x^=(A⊤A)−1A⊤b\hat{x} = (A^\top A)^{-1} A^\top b 係数 射影を表す一次結合の重み
P=A(A⊤A)−1A⊤P = A(A^\top A)^{-1} A^\top 射影行列 どんな bb もその射影へ送る。P2=PP^2 = P と P⊤=PP^\top = P を満たす
P=a a⊤a⊤aP = \dfrac{a\, a^\top}{a^\top a} 1次元の特別な場合 列ベクトル aa を通る直線への射影

II可視化1 — 直線への射影

射影 pp は、残差 b−pb-p が直線と直角に交わる、直線上のただ一つの点です。

III可視化2 — 平面への射影

列 a1=(1,0,1)a_1=(1,0,1) と a2=(0,1,1)a_2=(0,1,1) は平面を張ります。残差 e=b−pe=b-p は、その両方に同時に垂直です。

💡 残差は左零空間 N(A⊤)N(A^\top) に属します。これは列空間 C(A)C(A) の直交補空間です。

IV可視化3 — 冪等性：P2=PP^2 = P

bb がいったん部分空間に乗れば、もう一度射影しても何も動きません：P2b=PbP^2 b = Pb。

V可視化4 — 1次元の射影行列

1つの方向 aa に対して、P=a a⊤a⊤aP=\dfrac{a\,a^\top}{a^\top a} はどの角度でも対称かつ冪等です。

VI確認クイズ

問1

正規方程式 A⊤Ax^=A⊤bA^\top A \hat{x} = A^\top b から出発して x^\hat{x} を求め、次に射影ベクトル pp を計算します。

pp を正しく与える公式はどれですか？

✅ 正解です！ 射影ベクトルは p = Ax̂ = A(AᵀA)⁻¹Aᵀb です。係数 x̂ に A を掛けて、列空間の中の実際のベクトルを得ます。

❌ 惜しい！ 思い出しましょう。x̂ が与えるのは係数で、射影ベクトル p = Ax̂ は列空間の中にあります。x̂ に A を掛ける必要があります。

解答を見る

解答：

正規方程式から x^\hat{x} を求めます： x^=(A⊤A)−1A⊤b\hat{x} = (A^\top A)^{-1} A^\top b

射影は p=Ax^p = A\hat{x} なので、左から AA を掛けます： p=A(A⊤A)−1A⊤bp = A(A^\top A)^{-1} A^\top b

ほかの選択肢が誤りである理由：

  • (A⊤A)−1A⊤b(A^\top A)^{-1}A^\top b — これは x^\hat{x}（係数）であり、射影されたベクトル pp ではありません。
  • A⊤(AA⊤)−1AbA^\top(AA^\top)^{-1}Ab — 因子の順番が間違っています。これは正規方程式からは導かれません。
  • A−1A⊤bA^{-1}A^\top b — これには A−1A^{-1} が必要ですが、AA が長方行列なら存在しません。

問2

ある学生がこう主張しました：「P=A(A⊤A)−1A⊤P = A(A^\top A)^{-1}A^\top では、逆行列を (A⊤A)−1=A−1(A⊤)−1(A^\top A)^{-1} = A^{-1}(A^\top)^{-1} と分けられる。すると左側で A⋅A−1A \cdot A^{-1} が打ち消し合い、右側で (A⊤)−1⋅A⊤(A^\top)^{-1} \cdot A^\top が打ち消し合うので、P=IP = I になる。」

正しいか誤りか： AA が一次独立な列をもつ 3×23 \times 2 行列のとき、この推論は正しい。

✅ 正解です！ 3×2 行列には逆行列がありません。この打ち消しは、射影の公式でいちばんよくある間違いです。

❌ 惜しい！ 正方でない行列の逆行列はとれるでしょうか？ 3×2 行列には逆行列がないので、この分け方は許されません。

解答を見る

解答： 誤り。

(A⊤A)−1=A−1(A⊤)−1(A^\top A)^{-1} = A^{-1}(A^\top)^{-1} と分解するには、AA が正方かつ可逆でなければなりません。

3×23 \times 2 行列は列より行のほうが多く、正方ではありません。逆行列 A−1A^{-1} はそもそも存在しないので、「打ち消し」の段階は許されません。

P=IP = I が正しいのは、AA が正方かつ可逆、つまり列が Rn\mathbb{R}^n 全体を張るときだけです。この自明な場合には、どのベクトル bb も最初から列空間の中にあるので、bb を射影しても bb がそのまま返ってきます。

問3

a=[111]a = \begin{bmatrix}1\\1\\1\end{bmatrix} とします。1次元の射影の公式 P=a a⊤a⊤aP = \dfrac{a\,a^\top}{a^\top a} を使うと、PP の (1,2)(1, 2) 成分はいくつですか？

✅ 正解です！ a の成分はすべて 1 で aᵀa = 3 なので、P = aaᵀ/3 の成分はどれも 1/3 です。

❌ 惜しい！ まず aaᵀ（成分がすべて 1 の 3×3 行列）を計算し、それからすべての成分を aᵀa = 3 で割りましょう。

解答を見る

解答：

a⊤a=12+12+12=3a^\top a = 1^2 + 1^2 + 1^2 = 3

a a⊤=[111][111]=[111111111]a\,a^\top = \begin{bmatrix}1\\1\\1\end{bmatrix}\begin{bmatrix}1&1&1\end{bmatrix} = \begin{bmatrix}1&1&1\\1&1&1\\1&1&1\end{bmatrix}

P=13[111111111]P = \frac{1}{3}\begin{bmatrix}1&1&1\\1&1&1\\1&1&1\end{bmatrix}

PP の成分はどれも 13\frac{1}{3} なので、(1,2)(1, 2) 成分は 13\boxed{\tfrac{1}{3}} です。

問4

PP が（空間全体ではない）真部分空間への射影行列のとき、あるベクトル bb について P2bP^2 b を計算すると、結果は何に等しくなりますか？

✅ 正解です！ これが冪等性 P² = P です。すでに部分空間の中にあるベクトルを射影しても、変わりません。

❌ 惜しい！ 幾何学的に考えましょう。ベクトルがすでに部分空間の中にあるなら、もう一度射影すると何が起きるでしょうか？

解答を見る

解答：

P2P^2 を計算します：

P2=[A(A⊤A)−1A⊤][A(A⊤A)−1A⊤]P^2 = \bigl[A(A^\top A)^{-1}A^\top\bigr]\bigl[A(A^\top A)^{-1}A^\top\bigr]

(A⊤A)−1(A⊤A)=In(A^\top A)^{-1}(A^\top A) = I_n なので、内側の積が簡単になります：

P2=A(A⊤A)−1(A⊤A)(A⊤A)−1⏟= InA⊤=A(A⊤A)−1A⊤=PP^2 = A(A^\top A)^{-1} \underbrace{(A^\top A)(A^\top A)^{-1}}_{= \, I_n} A^\top = A(A^\top A)^{-1}A^\top = P

したがって、任意のベクトル bb に対して P2b=PbP^2 b = Pb です。

幾何学的な意味： bb をいったん部分空間に射影すれば、もうその中にあります。もう一度射影しても何も変わりません。この性質を冪等性といいます。

正解数：0 / 4