線形代数 · 第28回 · 動画3 · インタラクティブ教材

特異値分解の実践：特異値が消えるときと符号の落とし穴

I重要な公式

公式	名称	説明
$A = U \Sigma V^\top$	特異値分解（SVD）	$U, V$ は正規直交、 $\Sigma \geq 0$ は対角
$A^\top A \, v_i = \sigma_i^2 \, v_i$	右特異ベクトル	$A^\top A$ の固有ベクトル。固有値は $\sigma_i^2$
$A v_i = \sigma_i u_i$	符号の決まった $U$	$v_i$ から $u_i$ を定める。符号はこれで決まる
$\text{rank}(A) = \#\{\sigma_i > 0\}$	特異値から階数を読む	ゼロの特異値 $\Leftrightarrow$ 零空間

II可視化1 — 単位円が楕円になる

行列は単位円を楕円に引き伸ばします。その楕円の半軸の長さが、行列の特異値です。

σ₂ 4.24

$\sigma_2 = 0$ のとき、入力の方向 $v_2$ は原点に写ります。楕円は退化して $A$ の列空間、つまり 1 本の直線になります。

III可視化2 — 四つの基本部分空間

SVD は四つの基本部分空間すべての正規直交基底を一度に与えてくれます。どの特異値が消えるかで、きれいに振り分けられます。

行列

ゼロの特異値の個数は、零空間の次元に等しく、左零空間の次元にも等しくなります。

IV可視化3 — U の符号が大切な理由

式 $A v_i = \sigma_i u_i$ が $u_i$ の符号を決めます。符号を間違えると分解が成り立ちません。

u₂ の符号

符号を間違えた $u_2$ も、 $AA^\top$ の単位固有ベクトルであることに変わりはありません。 $U$ は $AA^\top$ だけに頼らず、必ず $A v_i = \sigma_i u_i$ を通して決めましょう。

V確認クイズ

問1

行列 $A = \begin{bmatrix} 4 & 3 \\ 8 & 6 \end{bmatrix}$ について、 $A^\top A = \begin{bmatrix} 80 & 60 \\ 60 & 45 \end{bmatrix}$ と計算しました。

その固有値は $125$ と $0$ です。 $A$ の特異値はどれでしょうか。

✅ 正解です！ 特異値は $A^\top A$ の固有値の平方根で、 $\sqrt{0} = 0$ です。

❌ 惜しい！ 思い出しましょう。 $\lambda_i$ そのものではなく、 $\sigma_i = \sqrt{\lambda_i}$ です。

解答を見る

解答：

$A^\top A$ の固有値は、特異値の二乗です。 $\lambda_i = \sigma_i^2 \quad\Longrightarrow\quad \sigma_i = \sqrt{\lambda_i}.$

したがって $\sigma_1 = \sqrt{125}$ 、 $\sigma_2 = \sqrt{0} = 0$ です。ゼロの特異値はきちんと定義されています。行列に 1 次元の零空間があることを教えてくれているだけです。

問2

例1 では $v_2 = \tfrac{1}{\sqrt{2}}(1, -1)$ 、 $\sigma_2 = \sqrt{18}$ が得られました。 $A v_2$ を計算すると $\tfrac{1}{\sqrt{2}}(0, -6)$ になりました。

ある学生が、 $A A^\top$ の単位固有ベクトルだからという理由で $u_2 = (0, 1)$ と書きました。これは SVD の列として正しいでしょうか。

✅ 正解です！ $U$ の符号は自由ではなく、 $A v_i = \sigma_i u_i$ によって決まります。

❌ 惜しい！ $(0, 1)$ も $(0, -1)$ も $AA^\top$ の単位固有ベクトルですが、SVD の条件を満たすのは一方だけです。

解答を見る

解答：

$A v_2 = \sigma_2 u_2$ が成り立つ必要があります。 $\sigma_2 = \sqrt{18}$ 、 $A v_2 = \tfrac{1}{\sqrt{2}}(0, -6)$ なので、

$u_2 = \frac{A v_2}{\sigma_2} = \frac{(0, -6/\sqrt{2})}{\sqrt{18}} = (0, -1).$

ベクトル $(0, 1)$ も $A A^\top$ の単位固有ベクトルです（固有ベクトルは $\pm$ の組で現れます）。しかしそれでは符号が逆になり、 $u_2 = (0, 1)$ で $U \Sigma V^\top$ を組み立てても $A$ は再現されません。

❌ 誤り： $u_2 = (0, 1)$ — 符号が合わない。
正しい選択は $u_2 = (0, -1)$ です。

問3

$3 \times 5$ 行列 $A$ の特異値が $\sigma_1 = 7$ 、 $\sigma_2 = 2$ 、 $\sigma_3 = 0$ です。

$A$ の零空間の次元はいくつでしょうか。

✅ 正解です！ $\dim(\text{null}(A)) = n - \text{rank}(A) = 5 - 2 = 3$ です。

❌ 惜しい！ 次元定理 $\dim(\text{null}) = n - \text{rank}$ を使いましょう。ここで $\text{rank}$ は 0 でない特異値の個数です。

解答を見る

解答：

次元定理により $\dim(\text{null}(A)) = n - \text{rank}(A)$ です。ここで $n$ は列の数です。

列の数： $n = 5$ 。
$\text{rank}(A) =$ 0 でない特異値の個数 $= 2$ 。
$\dim(\text{null}(A)) = 5 - 2 = 3$ 。

挙げられた特異値が「3」個あることに惑わされないようにしましょう。 $3 \times 5$ 行列には $\min(3, 5) = 3$ 個の特異値がありますが、 $A$ の零空間は $\mathbb{R}^5$ の中にあり、その次元は $5 - \text{rank} = 3$ です。ゼロの特異値に対応する $V$ の列と、挙げられた特異値より先の列（ここでは $v_4$ と $v_5$ 。これらは自動的に $\sigma = 0$ です）を合わせたものが、零空間を張ります。

問4

階数 1 の行列 $A = \begin{bmatrix} 4 & 3 \\ 8 & 6 \end{bmatrix}$ で、 $\sigma_1 = \sqrt{125}$ 、 $\sigma_2 = 0$ 、 $u_1 = \tfrac{1}{\sqrt 5}(1,2)$ 、 $v_1 = (0.8, 0.6)$ とします。

$A$ を正しく再現する式はどれでしょうか。

✅ 正解です！ ゼロの特異値は、それに対応する階数 1 の部品を消します。SVD はこうして階数の落ち込みを記録するのです。

❌ 惜しい！ $\sum_i \sigma_i u_i v_i^\top$ を展開して、 $\sigma_2 = 0$ の項がどうなるかに注目しましょう。

解答を見る

解答：

SVD は $A$ を、階数 1 の外積の和に展開します。 $A = \sum_{i} \sigma_i\, u_i v_i^\top.$

$\sigma_2 = 0$ のとき、その項は消えるので、残る階数 1 の部品は 1 つだけです。 $A = \sigma_1\, u_1 v_1^\top = \sqrt{125} \cdot \tfrac{1}{\sqrt 5}\binom{1}{2}\, (0.8,\ 0.6) = 5 \begin{bmatrix} 0.8 & 0.6 \\ 1.6 & 1.2 \end{bmatrix} = \begin{bmatrix} 4 & 3 \\ 8 & 6 \end{bmatrix}.$

順序に注意しましょう。 $A = \sigma_1 u_1 v_1^\top$ であり、逆順の積 $\sigma_1 v_1 u_1^\top$ はその転置 $A^\top$ で、 $A$ ではありません。この「1 項で足りる」という考え方こそ、SVD が低ランク近似や主成分分析（PCA）を支えている理由です。

正解数：0 / 4