SVD如何分解矩阵？

奇异值分解（Singular Value Decomposition，简称SVD）是一种将矩阵分解为三个矩阵乘积的方法，其用途广泛，包括矩阵压缩、降维、最小二乘问题等。下面我将详细解释SVD分解矩阵 A的过程，并提供一个简单的例子。

给定一个矩阵 A，其SVD表示为：
$$A=U\Sigma V^T$$
其中，U和 V是正交矩阵，$\Sigma$ 是对角矩阵。下面是详细的步骤：

1. 计算$A^{T}A$ 和 $A{A}^T$ 的特征值和特征向量：

   计算矩阵$A^{T}A$和 $A{A}^T$ 的特征值和特征向量。这些特征值将被用于构建奇异值矩阵 $\Sigma$。

2. 构建奇异值矩阵$\Sigma$：

   从 $A^{T}A$ 和 $A{A}^T$ 的特征值中得到奇异值（singular values）。

   $$\Sigma =\left[\begin{array}{cccc}{\sigma }_1& 0& ?& 0\\ 0& {\sigma }_2& ?& 0\\ ?& ?& ?& ?\\ 0& 0& ?& {\sigma }_r\\ 0& 0& ?& 0\\ ?& ?& ?& ?\\ 0& 0& ?& 0\end{array}\right]$$

   其中，${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r$ 是非零的奇异值，$r$ 是矩阵 A 的秩。

3. 计算左奇异向量矩阵 $U$：

   将 U的列设置为 A的特征向量，归一化每一列。如果 A 是一个 $m\times n$矩阵，那么 U 是一个 $m\times m$ 正交矩阵。

4. 计算右奇异向量矩阵 $V$：

   将 $V$ 的列设置为 $A^T$ 的特征向量，归一化每一列。如果 $A$ 是一个 $m\times n$ 矩阵，那么 $V$ 是一个 $n\times n$ 正交矩阵。

最后，将这三个矩阵相乘，即$A=U\Sigma V^T$。

现在，让我们看一个简单的例子。考虑矩阵：

$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]$$

1. 计算$A^{T}A$ 和 $A{A}^T$ 的特征值和特征向量。
2. 从特征值中构建奇异值矩阵 $\Sigma$。
3. 计算左奇异向量矩阵 $U$。
4. 计算右奇异向量矩阵$V$。

步骤1 - 计算$A^{T}A$ 和 $A{A}^T$ 的特征值和特征向量：

计算 $A^{T}A$ 和 $A{A}^T$：

$$A^{T}A=\left[\begin{array}{ccc}66& 78& 90\\ 78& 93& 108\\ 90& 108& 126\end{array}\right]$$

$$A{A}^T=\left[\begin{array}{ccc}14& 32& 50\\ 32& 77& 122\\ 50& 122& 194\end{array}\right]$$

计算它们的特征值和特征向量（详细计算过程请查阅线性代数相关书籍）。
$A{A}^T$特征值矩阵：

$${\Lambda }_{A{A}^T}=\left[\begin{array}{ccc}221.53& 0& 0\\ 0& 7.34& 0\\ 0& 0& 0\end{array}\right]$$

$A{A}^T$对应的特征向量矩阵：

$$V_{A{A}^T}=\left[\begin{array}{ccc}0.25& 0.85& 0.45\\ 0.58& 0.15& ?0.79\\ 0.77& ?0.50& 0.42\end{array}\right]$$

$A^{T}A$特征值矩阵：

$${\Lambda }_{A^{T}A}=\left[\begin{array}{ccc}221.53& 0& 0\\ 0& 7.34& 0\\ 0& 0& 0\end{array}\right]$$

$A^{T}A$对应的特征向量矩阵：

$$V_{A^{T}A}=\left[\begin{array}{ccc}?0.37& ?0.69& 0.61\\ ?0.60& ?0.11& ?0.79\\ ?0.71& 0.72& 0.14\end{array}\right]$$

步骤2 - 构建奇异值矩阵 $\Sigma$：
奇异值矩阵是一个对角矩阵，其对角线上的元素是特征值的平方根。对于矩阵 $A$:
$${\sigma }_1=\sqrt{221.53}\approx 14.90$$

$${\sigma }_2=\sqrt{7.34}\approx 2.71$$

$${\sigma }_3=\sqrt{0}=0$$

$$\Sigma =\left[\begin{array}{ccc}23.69& 0& 0\\ 0& 1.08& 0\\ 0& 0& 0\end{array}\right]$$

步骤3 - 计算左奇异向量矩阵 $U$：

左奇异向量矩阵$U$ 的列是 $A{A}^T$ 的特征向量单位化后的形式。我们已经计算了$A{A}^T$ 的特征值和特征向量：

特征值矩阵：

$${\Lambda }_{A{A}^T}=\left[\begin{array}{ccc}221.53& 0& 0\\ 0& 7.34& 0\\ 0& 0& 0\end{array}\right]$$

对应的特征向量矩阵：

$$V_{A{A}^T}=\left[\begin{array}{ccc}0.25& 0.85& 0.45\\ 0.58& 0.15& ?0.79\\ 0.77& ?0.50& 0.42\end{array}\right]$$

由于 $U$的列是 $A{A}^T$ 的特征向量的单位化形式，我们可以得到$U$：

$$U=\frac{1}{\sqrt{{\lambda }_i}}{A}^T{V}_{A{A}^T}$$

其中${\lambda }_i$是 $A{A}^T$ 的非零特征值。

所以，对于第一个列向量 $u_1$，我们有：

$$u_1=\frac{1}{\sqrt{221.53}}\left[\begin{array}{c}14\\ 32\\ 50\end{array}\right]\approx \left[\begin{array}{c}0.06\\ 0.13\\ 0.20\end{array}\right]$$

对于第二个列向量 $u_2$，我们有：

$$u_2=\frac{1}{\sqrt{7.34}}\left[\begin{array}{c}32\\ 77\\ 122\end{array}\right]\approx \left[\begin{array}{c}0.47\\ 0.55\\ 0.67\end{array}\right]$$

步骤4 - 计算右奇异向量矩阵 $V$：

右奇异向量矩阵 $V$ 的列是 $A^{T}A$ 的特征向量单位化后的形式。我们已经计算了 $A^{T}A$的特征值和特征向量：

特征值矩阵：

$${\Lambda }_{A^{T}A}=\left[\begin{array}{ccc}221.53& 0& 0\\ 0& 7.34& 0\\ 0& 0& 0\end{array}\right]$$

对应的特征向量矩阵：

$$V_{A^{T}A}=\left[\begin{array}{ccc}?0.37& ?0.69& 0.61\\ ?0.60& ?0.11& ?0.79\\ ?0.71& 0.72& 0.14\end{array}\right]$$

由于 $V$ 的列是$A^{T}A$ 的特征向量的单位化形式，我们可以得到 $V$：

$$V=\frac{1}{\sqrt{{\lambda }_i}}A{U}_{A^{T}A}$$

其中 ${\lambda }_i$ 是 $A^{T}A$ 的非零特征值。

所以，对于第一个列向量 $v_1$，我们有：

$$v_1=\frac{1}{\sqrt{221.53}}\left[\begin{array}{c}1\\ 4\\ 7\end{array}\right]\approx \left[\begin{array}{c}0.15\\ 0.30\\ 0.44\end{array}\right]$$

对于第二个列向量 $v_2$，我们有：

$$v_2=\frac{1}{\sqrt{7.34}}\left[\begin{array}{c}2\\ 5\\ 8\end{array}\right]\approx \left[\begin{array}{c}0.49\\ 0.55\\ 0.61\end{array}\right]$$

最终我们可以得到 $A=U\Sigma V^T$。