方程组的几何解释

线性组合：

找到合适的x和y的线性组合，从而让col1和col2组合得到结果b向量

3x3矩阵：

对于任何b都有Ax = b吗？ == 列的线性组合能否覆盖整个三维空间?

三个向量（A的三个列）在同一平面时不行

两种方法的矩阵乘法：

按列求：

按行求：一行乘一列

A乘以x看作A各列的线性组合

---

矩阵消元

矩阵消元：

U是A的最终结果

增广矩阵：

c是b的最终结果

矩阵x列=列

行x矩阵=行

B的第二行减去3倍的第一行：

A x B = C

A第一行a为1，bc为0=取B的第一行1倍，其他行不取

A第二行a为-3，b为1=取B的第一行的-3倍，第二行的1倍，二者相加

A为初等矩阵E₂₁
$$\begin{array}{rl}{E}_{32}(E_{21}A)& =U\\ (E_{32}{E}_{21})A& =U\end{array}$$
交换列：

E x A 变换行，A x E变换列

逆变换：

行二减去三倍行一 => 行二加上三倍行一

---

乘法和逆矩阵

A乘以 B的各个列向量 得到C的列向量 = C中各列是A中各列的线性组合

A乘以 B的各个行向量 得到C的行向量 = C中各行是B中各行的线性组合

如：A中某行的各个值(1 2 3)等于B中各行
$$\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]$$
的对应倍数
$$\begin{array}{ccc}a& b& c\\ 2d& 2e& 2f\\ 3g& 3h& 3i\end{array}$$
相加(a+2d+3g b+2e+3h c+2f+3i)就是C的对应行

列同理

求矩阵相乘有四种方法：

1. 常规方法：一行乘一列得一个值
2. 列方法：C的列是A的各列的线性组合，一次求一列
3. 行方法：C的行是B的各行的线性组合，一次求一行
4. 列乘行：
5. 分块：

对于方阵：
$$A^{-1}A=I=A{A}^{-1}$$
矩阵没有逆：

1. 无法通过线性组合矩阵的各行得到(1 0 0 …)等等单位矩阵的各行（行方向在同一直线上），列同理
2. 满足这样的矩阵没有逆（x不是0向量)

如果矩阵其中一列对线性组合毫无贡献，矩阵不可能有逆

高斯-若尔当消元：

$$\begin{gathered} E\left[\begin{array}{cc}A& I\end{array}\right]=\left[\begin{array}{cc}I& ?\end{array}\right] \\ EA=I \\ \text{tell us} \\ E=A^{-1} \end{gathered}$$

---

A的LU分解

A的转置的逆等于A的逆的转置
$$\begin{array}{rl}EA& =U\\ E\left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]& =\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]\end{array}$$

$$\begin{array}{rl}A& =LU\\ \left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]& =L\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]\end{array}$$

可见
$$\begin{gathered} E=E_1{E}_2{E}_3 \\ L=E^{-1} \\ L=E_3^{-1}{E}_2^{-1}{E}_1^{-1} \end{gathered}$$
在该例中，L为
$$\left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]$$
对角线为1的下三角阵（lower），U为对角线上是主元的上三角阵（upper）

将主元单拎出来：

这里，4是消元乘数，那么：

如果没有行交换，消元乘数可以直接写入单位矩阵中组成L

nxn矩阵的消元需要
$$n^2+(n-1{)}^2+(n-2{)}^2+\cdots +2^2+1^2$$
次操作（不是行操作而是值操作）

置换矩阵：其逆等于其转置

---

转置-置换-向量空间R

上一节讨论不需要行交换的情况，对于行需要交换的：
$$PA=LU$$
P即为置换矩阵，将A的行交换成正确的样子的、行重新排列了的单位矩阵

nxn置换矩阵的个数：n!

置换矩阵可逆，且其逆等于其转置

转置：(A^T)_i,j=A_j,i

对称矩阵：转置后等于自身

所有R^TR结果都是对称矩阵:
$$(R^{T}R{)}^T=R^{T}R$$

向量空间必须要对数乘封闭，即一个向量乘以任何数都在这个向量空间内，此时向量空间为一条该向量所在的直线（子空间），过原点（因为要允许乘0）

子空间是向量空间内的向量空间，即某些向量在母空间，而其本身也构成向量空间

R²的子空间：

1. R²平面
2. 任意过原点的直线
3. 0原点

R³的子空间：

1. R³空间
2. 任意过原点的平面
3. 任意过原点的直线
4. 0原点

对于一个矩阵，它的列的任意一种线性组合而成的向量都在向量子空间，又称列空间

---

列空间和零空间

空间中有平面P和直线L两向量空间，两者相交于原点，两者的并集不构成向量空间，因为对于并集中的向量相加，结果不在并集中：对加法不封闭。而交集构成向量空间。

向量加法和数乘是子空间中必须封闭的运算

A是4x3矩阵，那么A的列空间就是R⁴的子空间，由所有列的线性组合构成，换句话说，只有当b为A中各列的线性组合时，b才是Ax=b的解，此时b在A的列空间内

线性无关：A中各列进行线性组合，其中每一列都对组合有所贡献，换句话说，无法去掉某列得到相同的列空间，有贡献的列称为主列

零空间：x构成的向量空间（因为Av=0，Aw=0，A(v+w)=0，vw加和还在范围内，所以构成向量空间），使得Ax=0，此时x可以取数乘cx，在R³中表示为一条过原点的直线

而对于Ax=b，b!=0，解x必须包含0才能构成向量空间，因为所有向量空间必须过原点

---

求解Ax=0主变量 特解

消元不改变零空间（方程组解）

消元后非主元所在列对应的未知量为自由变量，表示可以自由取值。

秩 = 主元个数

特解：自由变量取值后，连带产生的解的任意倍

特解的线性组合（任意倍、相加）就是零空间

简化行阶梯型矩阵：主元上下都是0

经典行简化阶梯型（行交换后）：
$$R=\left[\begin{array}{cc}I& F\\ 0& 0\end{array}\right]$$
要求x就是求：
$$Rx=0$$
x由多个特解线性组合而成，这些特解作为列构成的矩阵叫做零空间矩阵N，此时
$$\begin{array}{rl}RN& =0\\ \left[\begin{array}{cc}I& F\\ 0& 0\end{array}\right]\left[\begin{array}{c}-F\\ I\end{array}\right]& =0\end{array}$$
这样就能快速找到零基（F的列数决定I的列数）

---

求解Ax=b可解性和解的结构

Ax=b仅当b属于A的列空间时成立

A的行的线性组合产生了零行，则相同的线性组合将让b也产生0

特解：增广矩阵消元后保证零行等于0，然后指定自由变量为0，求出一个特解x_p

通解：x=x_p+x_n，特解加零特解的线性组合
$$\begin{gathered} A{x}_p=b \\ A{x}_n=0 \\ A(x_p+x_n)=b \end{gathered}$$

其间的关系有点类似于二维直线y=a+cx，y=cx过原点，y=a+cx移动a过a。这个解的图像也是后面零解过原点（因为是零空间）而加上特解，则过特解

列满秩r=n：没有自由变量，也就是没有F，所以求零解时不能自由赋值，此时零空间N(A)只有零向量，Ax=b的解空间如果解存在则只有唯一解x=x_p

行满秩r=m：消元时没有零行，那么对于任意b，Ax=b都有解。自由变量为n-r个

方阵满秩r=m=n：可逆矩阵，零空间只包含零向量，Ax=b有解

矩阵的秩决定了方程组解的数目

---

线性相关性、基、维数

线性相关性：向量组中有0个向量的话一定相关，因为
$$0\cdot v_1+0\cdot v_2+n\cdot 0=0$$
组合（非零组合 0 0 n）得到0向量

$$A=\left[\begin{array}{cccc}{v}_1& v_2& \dots & v_n\end{array}\right]$$
若v₁,v₂,…,v_n不相关，则零空间只有0向量，r=n无自由变量。反之若Ac=0，c != 0，则相关，r < n有自由变量

向量"生成"（span）空间：空间包含这些向量的所有线性组合（最小）

向量空间的一组"基"：一组1. 线性无关 2. 生成整个空间 的向量——主列

当nxn方阵可逆时，其向量空间为Rⁿ

对于给定空间，空间中任意一组基的向量数目相等，此处的基向量数目就是维数

（列）空间的维数 <=> 基向量组成的矩阵的rank

已知维数，有一些线性无关的向量，则其中维数个向量组成一组基

零空间的维数 = 自由变量个数

---

四个基本子空间

对于mxn矩阵的四个基本子空间：

1. 列空间C(A)：A的列的所有线性组合，在R^m中
2. 零空间N(A)：在Rⁿ中
3. 行空间C(A^T)：A的行的所有线性组合，在Rⁿ中
4. 左零空间N(A^T)：在R^m

列向量矩阵的秩 = 行向量的矩阵的秩 = r = 主元数

列空间的维数 = 行空间的维数 = r

零空间的维数 = n - r

左零空间的维数 = m - r

n - r ：特解个数

行变换下影响行空间，但影响列空间

行空间的基 = 行最简型R的前r行

左零空间：

为什么叫左零空间：
$$\begin{gathered} A^{T}y=0 \\ {y}^{T}A=0 \end{gathered}$$

左零空间的基：

化行简化型

$$rref\left[\begin{array}{cc}A& I\end{array}\right]\to \left[\begin{array}{cc}R& E\end{array}\right]$$

$$EA=R$$

此时R中的零行对应的E中的行即为左零空间的基

eg：
$$\left[\begin{array}{ccc}-1& 2& 0\\ 1& -1& 0\\ (1& 0& 1)\end{array}\right]A=\left[\begin{array}{cccc}1& 0& 1& 1\\ 0& 1& 1& 0\\ (0& 0& 0& 0)\end{array}\right]$$

矩阵服从向量空间的运算率，可以把矩阵看作"向量"，虽然矩阵可相乘，但把矩阵看作向量空间时，只考虑相加、数乘

此处，对角线矩阵空间的一个基为
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]$$

---

矩阵空间、秩1矩阵和小世界图

以3x3矩阵为例，M为所有3x3矩阵构成空间

需要9个矩阵：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right],\dots ,\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right]$$
构成一组基

M的维度为9，对称矩阵空间（S）维度=6，上三角矩阵空间（U）维度=6
$$\text{维度}dim(\text{更小的子空间}S\cup U)=3$$
当S∪U时，产生的不是子空间，需要补充：S+U （S和U的组合）取S的任一矩阵+U的任一矩阵 。这里的空间包含所有3x3矩阵
$$dim(S+U)=9$$

$$dim(S)+dim(U)=dim(S\cup U)+dim(S+U)$$

秩1矩阵：如

可以把秩为4的矩阵分解为4个秩1矩阵

而两个秩为4的矩阵相加结果的秩通常不为4

行空间维数+零空间维数=行数

列空间维数+左零空间维数=列数

小世界图：“六分度猜想”，每个人至多通过六个人可以认识任何人，这样一个人与人的关系图

---

图和网络

与回路对应的行是线性相关的，如第1、2、3行

对于这样的矩阵的零空间Ax=0，将x视为结点电势，则结果：

可以看作结点间电势差，此时各点电势差为零，节点间没有电流

x_i-x_j电势差通过欧姆定律得到结点间电流y，对于左零空间A^Ty=0，即基尔霍夫电流定律（KCL）

对于左零空间的基，表现为满足基尔霍夫电流定律（流入=流出）的一组向量，每个元素是结点电流：

这里两个向量是无关的，即两个回路不产生嵌套，大的外城回路由两个小的回路组成

矩阵的主行对应的边组成了个没有回路的图（树），相关性均源自于回路

$$\begin{array}{rl}dimN(A^T)& =m-r\\ \text{相互无关的回路数量loops}& =\text{边的数量edges}-(\text{结点数量nodes}-1)\\ nodes-edges+loops& =1（欧拉公式）\end{array}$$
r=n-1（n为结点数即列数）

回到电路
$$\left[\begin{array}{c}{x}_i-x_j\\ \dots \end{array}\right]{\Rightarrow }^{e=Ax}\text{电势差}\left[\begin{array}{c}{e}_1\\ \dots \end{array}\right]{\Rightarrow }^{y=Ce}\text{电流}\left[\begin{array}{c}{y}_1\\ \dots \end{array}\right]$$
总的来说：
$$A^{T}CAx=f\text{加上电流源}$$

---

复习一

$$已知Ax=\left[\begin{array}{c}2\\ 4\\ 2\end{array}\right],通解x=\left[\begin{array}{c}2\\ 0\\ 2\end{array}\right]+c\left[\begin{array}{c}1\\ 1\\ 0\end{array}\right]+d\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$$

求行空间的维数：r=n-dimN(A)=n-2=1 （n可由b知为3）

求A，将特解(2 0 2)代入Ax=(2 4 2)，得a₁=(1 2 1)

将特解(1 1 0)代入Ax=0，得a₂=(-1 -2 -1)

将特解(0 0 1)代入Ax=0，得a₃=(0 0 0)

使Ax=b成立的b的条件：b是A中列向量的线性组合

所有同阶可逆矩阵不能组成子空间，因为可逆矩阵相加不能保证结果可逆

$$\begin{gathered} B^2=0\nRightarrow B=0 \\ B=\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right] \end{gathered}$$
nxm，满秩矩阵Ax=b（可逆），对任意b有解

若C可逆，N(CD)=N(D)
$$已知B=CD=\left[\begin{array}{ccc}1& 1& 0\\ 0& 1& 0\\ 1& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& -1& 2\\ 0& 1& 1& -1\\ 0& 0& 0& 0\end{array}\right]$$
不计算B，求B零空间的基（即N(D)）
$$basis=\left[\begin{array}{cc}1& -2\\ -1& 1\\ 1& 0\\ 0& 1\end{array}\right]$$

$$\begin{gathered} v=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]不能既是A的一行，又在A的零空间内 \\ \left[\begin{array}{ccc}X& X& X\\ 1& 2& 3\\ X& X& X\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]\ne \left[\begin{array}{c}0\\ 0\\ 0\end{array}\right] \end{gathered}$$

行空间和零空间的交集只有零向量