線形代数 · 第13回 · 動画3 · インタラクティブ教材

解けない連立方程式に Aᵀ を掛ける――正規方程式と AᵀA が可逆になる条件

I重要な公式

公式	名称	使う場面
$A^T A \hat{x} = A^T b$	正規方程式	解けない $Ax = b$ を、解ける連立方程式に変える
$\hat{x} = (A^T A)^{-1} A^T b$	最小二乗解	$A$ の列が一次独立のとき
$A$ が $m \times n \Rightarrow A^T A$ は $n \times n$	サイズの規則	長方形の連立方程式 → 正方形の連立方程式
$A^T A$ が可逆 $\iff$ $A$ の列が一次独立	可逆性の判定	$\hat{x}$ がただ1つに決まるかを判定する

II可視化1 — 列空間への射影

$\text{Col}(A)$ を直線として描くと、最も短い残差 $b - p$ は、 $\text{Col}(A)$ と直角に交わるものです。

推定値 x̂ 0.00

💡 $b$ がはじめから $\text{Col}(A)$ の上にあるときは、この最短の残差は $0$ です。そのとき $Ax = b$ には厳密な解があり、 $\hat{x}$ がそのままその解になります。

III可視化2 — $A^T A$ が特異になるとき

$A(t)$ の列が $t = 1$ で一次従属になるのに向かって動くにつれ、 $\det(A^T A) = 26(1 - t)^2$ は $0$ まで下がり、 $A^T A$ は逆行列を失います。

従属の度合い t 0.00

💡 $A^T A$ が可逆になるのは、ちょうど $A$ の列が一次独立のときです。ですから $\hat{x}$ がただ1つに決まるかどうかは、その一次独立性しだいです。

IV可視化3 — 最小二乗法は誤差を最小にする

正規方程式の解は、残差の二乗和 $\sum r_i^2$ （RSS）をできるだけ小さくする、ただ1本の直線です。

切片 c₀ 2.00 傾き c₁ 1.00

💡 GPS もこの仕組みで動いています。スマートフォンは、未知数を決めるのに必要な数より多くの衛星の方程式に自分の位置を当てはめ、正規方程式によって各信号の雑音をならしているのです。

V確認クイズ

問1 · 正規方程式のサイズ

$A$ が $7 \times 3$ 行列（方程式7つ、未知数3つ）のとき、 $A^T A$ のサイズはいくつですか？

✅ 正解です！ $(3 \times 7)(7 \times 3) = 3 \times 3$ です。正規方程式からは、いつでも $n \times n$ の正方形の連立方程式が得られます！

❌ 惜しい！ $A$ が $m \times n$ なら、 $A^T$ は $n \times m$ です。内側のサイズがそろうように掛けると、 $(n \times m)(m \times n) = n \times n$ になります。

解答を見る

解答：

$A$ は $7 \times 3$ なので、 $A^T$ は $3 \times 7$ です。したがって：

$A^T A = \underbrace{(3 \times 7)}_{A^T} \cdot \underbrace{(7 \times 3)}_{A} = (3 \times 3)$

規則： $A$ が $m \times n$ なら、 $A^T A$ はいつでも $n \times n$ の正方行列です。サイズは方程式の数ではなく、未知数の数に一致します。

問2 · $A^T A$ の対称性

正しいか誤りか：行列 $A^T A$ は、 $A$ の形や成分にかかわらず、いつでも対称である。

✅ 正解です！ $(A^T A)^T = A^T(A^T)^T = A^T A$ です。どんな行列 $A$ についても、いつでも対称です！

❌ 惜しい！ $(A^T A)^T$ を、 $(XY)^T = Y^T X^T$ を使って一歩ずつ計算してみましょう。

解答を見る

解答：正しい

$A^T A$ の転置をとります：

$(A^T A)^T = A^T (A^T)^T = A^T A$

ここでは2つの規則を使っています：

$(XY)^T = Y^T X^T$ （積の転置は順序が逆になる）
$(A^T)^T = A$ （2回転置するともとに戻る）

$A^T A$ の転置は、それ自身に等しくなります。これがまさに対称の定義です！この性質は、どんな形のどんな行列 $A$ についても成り立ちます。

動画の例では $A^T A = \begin{bmatrix}3 & 8\\8 & 30\end{bmatrix}$ で、非対角成分はどちらも 8 です。✓

問3 · det(AᵀA) を求める

$A = \begin{bmatrix}1 & 1\\1 & 2\\1 & 5\end{bmatrix}$ のとき、 $\det(A^T A)$ はいくつですか？

（ヒント：まず $A^T A$ を計算し、次に $\det\!\begin{bmatrix}a & b\\c & d\end{bmatrix} = ad - bc$ を使います。）

✅ 正解です！ $3 \times 30 - 8 \times 8 = 90 - 64 = 26 \neq 0$ です。可逆なので、 $\hat{x}$ はただ1つに決まります！

❌ 惜しい！ まず $A^T A = \begin{bmatrix}3 & 8\\8 & 30\end{bmatrix}$ を求め、それから $\det = 3(30) - 8(8)$ を計算しましょう。

解答を見る

解答：

ステップ1： $A^T A$ を計算します。

$A^T = \begin{bmatrix}1 & 1 & 1\\1 & 2 & 5\end{bmatrix}$

$A^T A = \begin{bmatrix}1\!\cdot\!1+1\!\cdot\!1+1\!\cdot\!1 & 1\!\cdot\!1+1\!\cdot\!2+1\!\cdot\!5\\1\!\cdot\!1+2\!\cdot\!1+5\!\cdot\!1 & 1\!\cdot\!1+2\!\cdot\!2+5\!\cdot\!5\end{bmatrix} = \begin{bmatrix}3 & 8\\8 & 30\end{bmatrix}$

ステップ2：行列式を求めます。

$\det(A^T A) = 3 \times 30 - 8 \times 8 = 90 - 64 = 26$

$26 \neq 0$ なので、 $A^T A$ は可逆です → $\hat{x}$ がただ1つ存在します！

誤答を選びやすい理由：

90 = $ad$ だけ（ $bc$ を引き忘れた）
64 = $bc$ だけ（ $ad$ の項を忘れた）
0 = 列が一次従属であることを意味する（ここでは列は一次独立）

問4 · ただ1つに決まらなくなるのはいつ？

$A = \begin{bmatrix}1 & 3\\1 & 3\\1 & 3\end{bmatrix}$ のとき、正規方程式 $A^T A \hat{x} = A^T b$ を作るとどうなりますか？

✅ 正解です！ 列が一次従属 → $\det(A^T A) = 81 - 81 = 0$ → 特異 → $\hat{x}$ はただ1つには決まりません。

❌ 惜しい！ 2列目 = $3 \times$ 1列目になっていることに注目しましょう。列は一次従属です。一次従属な列と $A^T A$ について、重要な定理は何と言っていたでしょうか？

解答を見る

解答：

$A$ の2列目は $\begin{bmatrix}3\\3\\3\end{bmatrix} = 3 \cdot \begin{bmatrix}1\\1\\1\end{bmatrix}$ = 3 × 1列目です。列は一次従属です！

$A^T A = \begin{bmatrix}1&1&1\\3&3&3\end{bmatrix}\begin{bmatrix}1&3\\1&3\\1&3\end{bmatrix} = \begin{bmatrix}3 & 9\\9 & 27\end{bmatrix}$

$\det = 3 \times 27 - 9 \times 9 = 81 - 81 = 0$

$A^T A$ は特異（可逆でない）です。正規方程式に解はありますが、ただ1つには決まりません。

これで、動画の重要な定理が確かめられます： $A^T A$ が可逆になるのは、 $A$ の列が一次独立のとき、かつそのときに限ります。

ほかの選択肢が誤りである理由：

$A^T A$ は、 $A$ の形にかかわらず、いつでも作れます。サイズは $n \times n$ です。
ここでの $A^T A$ は $2 \times 2$ です（ $3 \times 3$ ではありません）。 $A$ の列は2本だからです。
可逆性は保証されません。列が一次独立かどうかで決まります。

正解数：0 / 4

解けない連立方程式に Aᵀ を掛ける――正規方程式と AᵀA が可逆になる条件

I重要な公式

II可視化1 — 列空間への射影

III可視化2 — ATAA^T AATA が特異になるとき

IV可視化3 — 最小二乗法は誤差を最小にする

V確認クイズ

III可視化2 — $A^T A$ が特異になるとき