線形代数 · 第31回 · 動画4 · インタラクティブ教材

いつでも存在する逆行列：特異値分解から擬似逆行列を組み立てる

I重要な公式

公式 名称 説明
A=UΣVTA = U \Sigma V^T 特異値分解（SVD） U,VU, V は直交行列、Σ\Sigma は対角行列（m×nm\times n）
U−1=UT,V−1=VTU^{-1} = U^T,\quad V^{-1} = V^T 直交行列の逆行列 逆行列は転置に等しい — 計算いらず！
Σ+: σi→1σi\Sigma^+ : \ \sigma_i \to \tfrac{1}{\sigma_i} Σ\Sigma の擬似逆行列 0 でない成分を逆数にし、形を転置する
A+=VΣ+UTA^+ = V \Sigma^+ U^T ムーア・ペンローズの擬似逆行列 「いつでも存在する逆行列」

II可視化1 — Σ+\Sigma^+ を Σ\Sigma から組み立てる

0 でない特異値をそれぞれ逆数にし、ゼロはそのままにして、形を転置します。

💡 特異値が 00 に近づくと、その逆数 1/σ1/\sigma は爆発的に大きくなります。そのため実際のアルゴリズムでは、ごく小さな特異値は逆数にせず、しきい値で 00 とみなします。

III可視化2 — 単位行列ではなく射影

積 ΣΣ+\Sigma\Sigma^+ と Σ+Σ\Sigma^+\Sigma の対角線には、ちょうど rr 個の 1 が並びます。これらは射影であって、完全な単位行列にはなりません。

💡 零空間をもつ行列に、本当の両側逆行列はありえません。これらの射影が、零空間の許す範囲で単位行列にいちばん近いものです。

IV可視化3 — 擬似逆行列で最小二乗問題を解く

方程式が未知数より多いとき、x=A+bx = A^+ b は残差の二乗和を最小にする直線を返します。

V確認クイズ

問1

対角行列 Σ\Sigma の対角線に、0 でない特異値 σ1=4\sigma_1 = 4 があります。 擬似逆行列 Σ+\Sigma^+ では、対応する対角位置にどんな値が入りますか。

✅ 正解です！0 でない特異値はそれぞれ逆数になります：4 → 1/4。

❌ 惜しい！擬似逆行列では、0 でない特異値をそれぞれ逆数にします。

解答を見る

解答：

Σ+\Sigma^+ を作るには、0 でない特異値をそれぞれ逆数に置き換えます。 σi  ⟶  1σi\sigma_i \;\longrightarrow\; \frac{1}{\sigma_i}

したがって σ1=4\sigma_1 = 4 は 14\tfrac{1}{4} になります。（ゼロはゼロのままです。ゼロで割ることは決してしません。）

問2

Σ\Sigma が 3×43 \times 4 行列だとします。その擬似逆行列 Σ+\Sigma^+ のサイズはいくつですか。

✅ 正解です！形が転置されます。3×4 行列の擬似逆行列は 4×3 です。

❌ 惜しい！Σ⁺ を作るときは、形も m×n から n×m へ転置されることを思い出しましょう。

解答を見る

解答：

Σ+\Sigma^+ を作る手順は二つです。0 でない成分を逆数にすること、そして形を転置することです。

Σ\Sigma が m×nm \times n なら、Σ+\Sigma^+ は n×mn \times m です。

Σ\Sigma が 3×43 \times 4 なら、擬似逆行列 Σ+\Sigma^+ は 4×34 \times 3 です。

問3

正しいか誤りか：階数が落ちた行列では、積 ΣΣ+\Sigma \Sigma^+ はつねに 単位行列に等しい。

✅ 正解です！これは対角線に r 個しか 1 が並ばない射影で、単位行列ではありません。

❌ 惜しい！ΣΣ⁺ は列空間への射影で、左零空間の方向はゼロになります。

解答を見る

解答：

この主張は誤りです。積 ΣΣ+\Sigma \Sigma^+ は単位行列ではなく、射影です。

これは m×mm \times m 行列で、対角線にはちょうど rr 個（rr は階数）の 1 が並び、 残りの左零空間の方向にはゼロが入ります。階数が落ちた行列では rr が 行列のサイズより小さいので、対角線の末尾にゼロが残り、結果は単位行列になりえません。

零空間をもつ行列に、本当の両側逆行列はありえません。射影 ΣΣ+\Sigma\Sigma^+（列空間への射影）と Σ+Σ\Sigma^+\Sigma（行空間への射影）が、零空間の許す範囲で 単位行列にいちばん近いものなのです。

問4

A=UΣVTA = U \Sigma V^T から出発し、UU と VV が直交行列であることを使うと、擬似逆行列 A+A^+ を 与える式はどれですか。

✅ 正解です！順番を逆にし、直交行列の逆行列を使うと A⁺ = V Σ⁺ Uᵀ が得られます。

❌ 惜しい！因子の順番を逆にし、V⁻¹=Vᵀ（したがって (Vᵀ)⁻¹=V）と U⁻¹=Uᵀ を使いましょう。

解答を見る

解答：

UU と VV が直交行列なので、この積の擬似逆行列は、順番を逆にして各因子を逆にすれば得られます（一般の積では成り立ちません）。 A+=(UΣVT)+=(VT)−1 Σ+ U−1.A^+ = (U \Sigma V^T)^+ = (V^T)^{-1}\, \Sigma^+\, U^{-1}.

ここで直交性を使います。

  • VV は直交行列なので、(VT)−1=V(V^T)^{-1} = V。
  • UU は直交行列なので、U−1=UTU^{-1} = U^T。

すべてがきれいにまとまって、次の式になります。 A+=V Σ+ UT\boxed{A^+ = V\, \Sigma^+\, U^T}

転置がただで手に入るのは、UU と VV が直交行列だからです。難しさはすべて Σ+\Sigma^+ の中に閉じ込められたままなのです。

正解数：0 / 4