矩阵的因子分解1-奇异值分解

文章目录

矩阵的因子分解1-奇异值分解

矩阵的因子分解1-奇异值分解

题型：对 $\in \mathbb{C}^{m \times n}$ 进行奇异值分解 $\Sigma V^H$

题目中为简化计算，都是取 $\mathbb{C}^{m\times n}$ 的特殊情形： $\mathbb{R}^{m\times n}$ ，如下也是按照 $\mathbb{R}^{m\times n}$ 来展开的

求法归纳

求 $A^HA$ 的特征值和特征向量 ${\alpha_1,\alpha_2,\dots}$
单位化特征向量得到 $V$
用非零特征值求： $A$ 的奇异值 和 将奇异值按从大到小的顺序排列并形成对角矩阵 $\Sigma$
求 $AA^H$ 的特征值和特征向量 ${\beta_1,\beta_2,\dots}$
单位化特征向量得到 $U$
$\begin{pmatrix} \Sigma&0\\ 0&0 \end{pmatrix} V^H$

注：

$A^HA$ 和 $AA^H$ 均为对称矩阵，特征值均非负，且二者的非零特征值相同；不同特征值对应的特征向量正交
计算量大但推荐，不用通过 Gram-Schmidt 正交化方法补充单位向量

例1. 对矩阵 $\begin{pmatrix} 0 & 1 \\ -1 & 0 \\ 0 & 2 \\ 1 & 0 \end{pmatrix}$ 进行奇异值分解

1. 计算 $A^H A$ 的特征值和特征向量

$A^H A = \begin{pmatrix} 0 & -1 & 0 & 1 \\ 1 & 0 & 2 & 0 \end{pmatrix} \begin{pmatrix} 0 & 1 \\ -1 & 0 \\ 0 & 2 \\ 1 & 0 \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 5 \end{pmatrix}$

特征值为：

$\lambda_1 = 5, \quad \lambda_2 = 2$

对应的特征向量为：

$\alpha_1 = \begin{pmatrix} 0 \\ 1 \end{pmatrix}, \quad \alpha_2 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$

将特征向量单位化：

$v_1 = \frac{\alpha_1}{\|\alpha_1\|} = \begin{pmatrix} 0 \\ 1 \end{pmatrix}, \quad v_2 = \frac{\alpha_2}{\|\alpha_2\|} = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$

$\begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}$

2. 将奇异值按从大到小排列，并构造对角矩阵 $\Sigma$

奇异值是特征值的平方根
$\sigma_1 = \sqrt{5}, \quad \sigma_2 = \sqrt{2}$
则
$\Sigma = \begin{pmatrix} \sqrt{5} & 0 \\ 0 & \sqrt{2} \\ 0 & 0 \\ 0 & 0 \end{pmatrix}$

3. 计算 $A A^H$ 的特征值和特征向量

$A^H = \begin{pmatrix} 0 & 1 \\ -1 & 0 \\ 0 & 2 \\ 1 & 0 \end{pmatrix} \begin{pmatrix} 0 & -1 & 0 & 1 \\ 1 & 0 & 2 & 0 \end{pmatrix} = \begin{pmatrix} 1 & 0 & 2 & 0 \\ 0 & 1 & 0 & -1 \\ 2 & 0 & 4 & 0 \\ 0 & -1 & 0 & 1 \end{pmatrix}$

特征值为：

$\lambda_1 = 5, \quad \lambda_2 = 2, \quad \lambda_3 = 0, \quad \lambda_4 = 0$

对应的特征向量为：

$\beta_1 = \begin{pmatrix} 1 \\ 0 \\ 2 \\ 0 \end{pmatrix}, \quad \beta_2 = \begin{pmatrix} 0 \\ -1 \\ 0 \\ 1 \end{pmatrix}, \quad \beta_3 = \begin{pmatrix} 0 \\ 1 \\ 0 \\ 1 \end{pmatrix}, \quad \beta_4 = \begin{pmatrix} -2 \\ 0 \\ 1 \\ 0 \end{pmatrix}$

一定要确保所有的特征向量两两正交！！！特征值相同求出的特征向量不一定正交！！！这题易得特征值为零的两个特征向量正交！

将特征向量单位化：

$u_1 = \frac{\beta_2}{\|\beta_2\|} = \begin{pmatrix} \frac{1}{\sqrt{5}} \\ 0 \\ \frac{2}{\sqrt{5}} \\ 0 \end{pmatrix}, \quad u_2 = \frac{\beta_1}{\|\beta_1\|} = \begin{pmatrix} 0 \\ -\frac{1}{\sqrt{2}} \\ 0 \\ \frac{1}{\sqrt{2}} \end{pmatrix}, \quad \\ u_3 = \frac{\beta_3}{\|\beta_3\|} = \begin{pmatrix} 0 \\ \frac{1}{\sqrt{2}} \\ 0 \\ \frac{1}{\sqrt{2}} \end{pmatrix}, \quad u_4 = \frac{\beta_4}{\|\beta_4\|} = \begin{pmatrix} -\frac{2}{\sqrt{5}} \\ 0 \\ \frac{1}{\sqrt{5}} \\ 0 \end{pmatrix}$

$\begin{pmatrix} \frac{1}{\sqrt{5}} & 0 & 0 & -\frac{2}{\sqrt{5}} \\ 0 & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ \frac{2}{\sqrt{5}} &0 & 0 & \frac{1}{\sqrt{5}} \\ 0 &\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \end{pmatrix}$

$u_3$ 和 $u_4$ 的顺序与结果无关

4. 构造分解结果

此时得到的 $U$ 和 $V$ 不一定符合要求！需要进行调整（特征向量需要乘以“-1”）

要验证 $A_{ij}<0$ 的元素，验证公式如下：
$A_{ij} =U_{i\_}\Sigma V_{\_j}$
其中：

$A_{ij}$ 为矩阵 $A$ 中 $i$ 行 $j$ 列元素
$_ U_{i\_}$ 为矩阵 $U$ 中第 $i$
$V_{\_j}$ 为矩阵 $V$ 中第 $j$ 列

本题需验证
$A_{21} = -1$
$\begin{pmatrix} 0 & -\frac{1}{\sqrt{2}} & 0 & \frac{1}{\sqrt{2}} \end{pmatrix} \begin{pmatrix} \sqrt{5} & 0 \\ 0 & \sqrt{2} \\ 0 & 0 \\ 0 & 0 \end{pmatrix}\begin{pmatrix} 0 \\ 1 \end{pmatrix} = -1$
不需要调整
故 $A=U\Sigma V^H$

例2. 对矩阵 $\begin{pmatrix} 0 & -1&1 \\ 2 & 0 & 0 \end{pmatrix}$ 进行奇异值分解

1. 计算 $A^HA$ 的特征值和特征向量

$A^H A = \begin{pmatrix} 0 & 2 \\ -1 & 0 \\ 1 & 0 \end{pmatrix} \begin{pmatrix} 0 & -1 & 1 \\ 2 & 0 & 0 \end{pmatrix} = \begin{pmatrix} 4 & 0 & 0 \\ 0 & 1 & -1 \\ 0 & -1 & 1 \end{pmatrix}$
特征值为：

$\lambda_1 = 4, \quad \lambda_2 = 2, \quad \lambda_3 = 0$

对应的特征向量为：

$\mathbf{v}_1 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix} , \quad \mathbf{v}_2 = \begin{pmatrix} 0 \\ 1 \\ -1 \end{pmatrix} , \quad \mathbf{v}_3 = \begin{pmatrix} 0 \\ 1 \\ 1 \end{pmatrix}$

将特征向量单位化：

$\begin{pmatrix} 1 & 0 & 0 \\ 0 & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ 0 & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix}$

2. 将奇异值按从大到小排列，并构造对角矩阵 $\Sigma$

$\sigma_1 = \sqrt{4}=2, \quad \sigma_2 = \sqrt{2}$
则
$\Sigma = \begin{pmatrix} 2 & 0 &0\\ 0 & \sqrt{2}&0 \\ \end{pmatrix}$

2. 计算 $AA^H$ 的特征值和特征向量

$A^T = \begin{pmatrix} 0 & -1 & 1 \\ 2 & 0 & 0 \end{pmatrix} \begin{pmatrix} 0 & 2 \\ -1 & 0 \\ 1 & 0 \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 4 \end{pmatrix}$

特征值为：
$\lambda_1 = 4 , \quad \lambda_2 = 2$

对应的特征向量为：
$\mathbf{u}_1 = \begin{pmatrix} 0 \\ 1 \end{pmatrix} , \quad \mathbf{u}_2 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$

将特征向量单位化：
$\begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}$

4. 构造分解结果

本题需验证
$A_{12} = -1$
$\begin{pmatrix} 0 & 1 \end{pmatrix} \begin{pmatrix} 2 & 0 &0\\ 0 & \sqrt{2}&0 \\ \end{pmatrix}\begin{pmatrix} 0\\ \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{pmatrix} = 1$
需要调整， $V_{\_2}= - V_{\_2} = \begin{pmatrix} 0\\ -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix}$
$\begin{pmatrix} 1 & 0 & 0 \\ 0 & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ 0 & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix}$
故 $A=U\Sigma V^H$