線形代数 · 第31回 · 動画3 · インタラクティブ教材

いつでも存在する逆行列：擬似逆行列

I重要な公式

公式	名称	説明
$\dim(\text{行空間}) = \dim(\text{列空間}) = r$	次元の一致	行空間と列空間はどちらも次元が階数 $r$ に等しい
$\dim(\text{零空間}) = n - r,\quad \dim(\text{左零空間}) = m - r$	部分空間の次元	零空間が「失う」次元
$A^{+}A = P_{\text{行空間}}$	射影の恒等式	$A^{+}A$ は行空間への射影（ $I$ ではない！）
$AA^{+} = P_{\text{列空間}}$	射影の恒等式	$AA^{+}$ は列空間への射影
$\hat{x} = A^{+}b$	擬似逆行列による解	最小ノルムの最小二乗解

復習：行空間 $\perp$ 零空間、列空間 $\perp$ 左零空間です。擬似逆行列 $A^{+}$ は全単射行空間 $\to$ 列空間を逆にたどり、左零空間を 0 に送ります。

II可視化1 — 四つの基本部分空間

階数 $r$ の行列では、四つの基本部分空間はそれぞれどれだけの大きさをもつでしょうか。

m（行数） 3 n（列数） 2 階数 r 2

💡 $A^{+}$ が存在するのは、この共通の次元 $r$ のおかげで、 $A$ が行空間から列空間への全単射としてはたらくからです。

III可視化2 — 行空間成分、零空間成分、そして写像

どの入力 $v$ も、行空間成分と零空間成分に分かれます。 $Av$ で生き残るのはどちらでしょうか。

💡 零空間成分は壊されてしまうので、 $A$ に本当の逆行列はありません。 $A^{+}$ が取り戻せるのは、解の行空間成分だけです。

IV可視化3 — 最小二乗法と擬似逆行列

擬似逆行列はデータにいちばんよく当てはまる直線を求め、決して破綻しません。 $A^{T}A$ が特異なときでもです。

💡 チャレンジ：3 つの点をすべて同じ $x$ にドラッグしてみましょう。 $A$ の列は一次従属になり、 $A^{T}A$ は特異になりますが、それでも $A^{+}b$ は最小ノルムの当てはめを返します。

V確認クイズ

問1

行列 $A$ は $m = 4$ 行、 $n = 3$ 列で、階数は $r = 2$ です。

$A$ の零空間の次元はいくつですか。

✅ 正解です！零空間の次元は $n - r = 3 - 2 = 1$ です。

❌ 惜しい！零空間の次元は $n - r$ です（行数ではなく列数を使います）。

解答を見る

解答：

零空間は入力空間 $\mathbb{R}^n$ の中にあり、次元は $n - r$ です。 $\dim(\text{零空間}) = n - r = 3 - 2 = 1.$

（参考：列空間の次元は $r = 2$ 、左零空間の次元は $m - r = 4 - 2 = 2$ です。）

問2

正しいか誤りか：どんな行列 $A$ についても、積 $A^{+}A$ は単位行列に等しい。

✅ 正解です！ $A^{+}A$ は行空間への射影です。 $I$ に等しくなるのは列フルランクのときだけです。

❌ 惜しい！ $A^{+}A$ は行空間への射影で、一般には単位行列ではありません。

解答を見る

解答：

$A^{+}A$ は単位行列ではなく、行空間への射影です。任意の $x \in \mathbb{R}^n$ を行空間成分と零空間成分の和に分けると、 $A^{+}A$ は行空間成分だけを残し、零空間成分を捨てます。 $A^{+}A = P_{\text{行空間}}.$

$A^{+}A = I$ となるのは、零空間が零ベクトルだけのとき、つまり $A$ が列フルランクのときに限られます。したがって、この主張は一般には誤りです。

問3

$A = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}$ の行空間は $(1, 1)$ で張られ、零空間は $(1, -1)$ で張られます。

内積 $(1, 1) \cdot (1, -1)$ はいくつで、それは何を確かめていますか。

✅ 正解です！内積は $0$ なので、行空間と零空間は直交しています。

❌ 惜しい！ $(1)(1)+(1)(-1)$ を計算すると $0$ になり、直交していることが確かめられます。

解答を見る

解答：

$(1,1)\cdot(1,-1) = (1)(1) + (1)(-1) = 1 - 1 = 0.$

内積が $0$ ということは、二つの方向が垂直だということです。これにより、行空間と零空間が互いの直交補空間であることが確かめられます。両方に属するベクトルは零ベクトルだけです。まさにこの直交性によって、 $A$ を行空間に制限した写像は単射になるのです。

問4

回帰で、うっかり同じ説明変数を二度入れてしまい、まったく同じ二つの列をもつ $A = \begin{bmatrix} 1 & 1 \\ 2 & 2 \\ 3 & 3 \end{bmatrix}$ ができました。すると通常の最小二乗法の公式 $\hat{x} = (A^{T}A)^{-1}A^{T}b$ は使えなくなります。

その理由と、擬似逆行列がどう役立つかを最もよく説明しているのはどれですか。

✅ 正解です！ $A^{T}A$ が特異なので $(A^{T}A)^{-1}$ は使えませんが、 $\hat{x} = A^{+}b$ が救ってくれます。

❌ 惜しい！列が一次従属なので $A^{T}A$ は特異（ $\det = 0$ ）になりますが、擬似逆行列はそれでも使えます。

解答を見る

解答：

説明変数が重複しているので二つの列はまったく同じ（完全な共線性）になり、 $A$ は階数が落ち、 $A^{T}A$ は特異になります。 $\det(A^{T}A) = 0$ なので $(A^{T}A)^{-1}$ は定義できず、通常の最小二乗法の公式は崩れてしまいます。

擬似逆行列はいつでも存在するので、壊れた公式を次の式に置き換えます。 $\hat{x} = A^{+}b,$ これは最小ノルムの最小二乗解を、何事もなかったかのように与えてくれます。

正解数：0 / 4