3つの保証：正定値性が逆行列・和・A^TA で失われない理由

解答：

$Ax = \lambda x$ なら、両辺に $A^{-1}$ を掛けると $x = \lambda A^{-1} x$ となるので、次が成り立ちます。

$$A^{-1} x = \frac{1}{\lambda} x.$$

つまり、$A^{-1}$ の固有値は $A$ の固有値の逆数で、$\{1/3, 1/4\}$ です。

逆数はどちらも正です（正の数を正の数で割ったもの）。$A^{-1}$ は対称でもあり（$(A^{-1})^T = (A^T)^{-1} = A^{-1}$ だから）、固有値がすべて正なので、$A^{-1}$ は正定値です。

解答：

誤りです。固有値が足し算になるのは、$A$ と $B$ が同じ固有ベクトルを共有するときだけです。一般には、$A+B$ の固有値はまったく別のものになります。

和についての閉包性に固有値という道具が使えないのは、まさにこのためです。そこで二次形式に切り替えます。

$$x^T(A+B)x = x^T A x + x^T B x > 0 + 0 = 0 \quad \text{ただし } x \neq 0.$$

したがって、個々の固有値については何もすっきりしたことが言えなくても、$A+B$ は正定値です。

解答：

$A$ の2列目はちょうど1列目の2倍なので、列は一次従属です（階数 1）。

$A^T A$ はいつでも対称です。$(A^T A)^T = A^T (A^T)^T = A^T A$ だからです。

計算すると、 $$A^T A = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \end{bmatrix} \begin{bmatrix} 1 & 2 \\ 2 & 4 \\ 3 & 6 \end{bmatrix} = \begin{bmatrix} 14 & 28 \\ 28 & 56 \end{bmatrix}.$$

行列式は $14 \cdot 56 - 28^2 = 784 - 784 = 0$ なので、$A^T A$ は特異です。

恒等式 $x^T A^T A x = \|Ax\|^2 \geq 0$ が保証するのは半正定値性までです。列が一次従属だと、$Ax = 0$ となる 0 でない $x$（たとえば $x = (2, -1)^T$）が存在するので、ゼロより真に大きいという性質が崩れます。

解答：

推論の流れは次のとおりです。

1. $A$ の列が一次独立 $\Longleftrightarrow$ $A$ の零空間が $\{0\}$ $\Longleftrightarrow$ $Ax = 0$ となるのは $x = 0$ のときだけ。
2. すると、恒等式 $x^T A^T A x = \|Ax\|^2$ は、すべての $x \neq 0$ に対してゼロより真に大きくなる。
3. したがって、$A^T A$ は正定値、つまり対称で、固有値がすべて正である。
4. 正定値行列は可逆なので、正規方程式はただ1つの解をもつ。

$$\hat{x} = (A^T A)^{-1} A^T b.$$

注意：$A$ そのものはふつう長方行列（行の数が列の数より多い）なので、$A$ を直接逆行列にすることはできません。$A^T A$ を作る意味はまさに、縦長の長方行列を正方の正定値行列に変えることにあります。ただし、列が一次独立であることが条件です。