1.3 矩阵

一、向量与矩阵

下面是三个向量 $\boldsymbol u$ 、 $\boldsymbol v$ 、 $\boldsymbol w$ ： $\boldsymbol u=\begin{bmatrix}\,\,\,\,1\\-1\\\,\,\,\,0\end{bmatrix}\kern 10pt\boldsymbol v=\begin{bmatrix}\,\,\,\,0\\\,\,\,\,1\\-1\end{bmatrix}\kern 10pt\boldsymbol w=\begin{bmatrix}0\\0\\1\end{bmatrix}$ 它们在三维空间中的线性组合是 $x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w$ ： $\textbf{向量的线性组合}：\kern 5ptx_1\begin{bmatrix}\,\,\,\,1\\-1\\\,\,\,\,0\end{bmatrix}+x_2\begin{bmatrix}\,\,\,\,0\\\,\,\,\,1\\-1\end{bmatrix}+x_3\begin{bmatrix}0\\0\\1\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}\kern 12pt(1.3.1)$ 现在利用矩阵改写式（1.3.1）， $\boldsymbol u$ 、 $\boldsymbol v$ 、 $\boldsymbol w$ 变成矩阵 $A$ 的列，得到一个矩阵 $A$ 乘向量 $x_1,x_2,x_3)$ ：

$\textbf{矩阵乘向量，列的组合}：\kern 5ptA\boldsymbol x=\begin{bmatrix}\,\,\,\,1&\,\,\,\,0&0\\-1&\kern 7pt1&0\\\,\,\,\,0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}\kern 20pt(1.3.2)$

$x_1$ 、 $x_2$ 、 $x_3$ 是向量 $\boldsymbol x$ 的分量，矩阵 $A$ 乘向量 $\boldsymbol x$ 与式（1.3.1）三个列的线性组合等价。
这里的改写可以让我们从不同的视角来观察，一开始是三个数字 $x_1$ ， $x_2$ ， $x_3$ 乘向量，现在是矩阵乘这三个数字。矩阵 $A$ 作用于向量 $\boldsymbol x$ ，输出的 $A\boldsymbol x$ 是矩阵 $\pmb A$ 列的组合 $\boldsymbol b$ 。
为方便观察，将 $A\boldsymbol x$ 的分量记为 $b_1$ ， $b_2$ ， $b_3$ ： $A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}=\boldsymbol b\kern 20pt(1.3.3)$ 输入是 $\boldsymbol x$ ，输出是 $\boldsymbol b=A\boldsymbol x$ 。这里 $A$ 是一个差分矩阵（difference matrix），因为 $\boldsymbol b$ 包含了输入 $\boldsymbol x$ 的差。最上面的差是 $x_1-x_0=x_1-0$ 。
当 $\boldsymbol x=(1,4,9)$ 时： $\boldsymbol x$ 中是平方数， $\boldsymbol b$ 中是奇数： $\boldsymbol x=\begin{bmatrix}1\\4\\9\end{bmatrix}=平方数\kern 10ptA\boldsymbol x=\begin{bmatrix}1-0\\4-1\\9-4\end{bmatrix}=\begin{bmatrix}1\\3\\5\end{bmatrix}=\boldsymbol b\kern 20pt(1.3.4)$ 这里可以扩展到 $4\times4$ 的矩阵，下一个平方数 $x_4=16$ ，下一个差是 $x_4-x_3=16-9=7$ （下个奇数）。这个矩阵可以一次性将所有的差 $1$ 、 $3$ 、 $5$ 、 $7$ 都计算出来。
重要注解： 每次乘一行。矩阵与向量的乘法，可以用另一种方式来解释，即使用行而不是列。 $A\boldsymbol x$ 也是行的点积：

$\textbf{矩阵乘向量，行的点积}：A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}\kern 7pt(1,0,0)\cdot(x_1,x_2,x_3)\\(-1,1,0)\cdot(x_1,x_2,x_3)\\(0,-1,1)\cdot(x_1,x_2,x_3)\end{bmatrix}\kern 15pt(1.3.5)$

二、线性方程组

以前的问题是数字 $x_1$ 、 $x_2$ 、 $x_3$ 已知，求 $\boldsymbol b$ ；现在的问题是 $\boldsymbol b$ 已知，求出 $\boldsymbol x$ 。
老问题：计算线性组合 $x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w$ 求出 $\boldsymbol b$ 。
新问题： $\boldsymbol u$ 、 $\boldsymbol v$ 、 $\boldsymbol w$ 什么样的线性组合可以得到特定的向量 $\boldsymbol b$ ？
这两个问题是相反的。新问题是求解输入 $\boldsymbol x$ 以便得到输出 $\boldsymbol b=A\boldsymbol x$ 。这是 $x_1$ 、 $x_2$ 、 $x_3$ 的线性方程组，方程右侧是 $b_1$ 、 $b_2$ 、 $b_3$ ，现在要求解 $A\boldsymbol x=\boldsymbol b$ 找到 $x_1$ ， $x_2$ ， $x_3$ ：

$方程\,A\boldsymbol x=\boldsymbol b\kern 10pt\begin{matrix}\kern 7ptx_1\kern 3pt\kern 20pt=b_1\\-x_1+x_2=b_2\\-x_2+x_3=b_3\end{matrix}\kern 10pt解\,\boldsymbol x=A^{-1}\boldsymbol b\kern 10pt\begin{matrix}x_1=b_1\kern 43pt\\x_2=b_1+b_2\kern 21pt\\x_3=b_1+b_2+b_3\end{matrix}\kern 12pt(1.3.6)$

大部分线性系统并不容易求解。但是该例中，第一个方程求出 $x_1=b_1$ ，第二个方程求出 $x_2=b_1+b_2$ ，第三个方程求出 $x_3=b_1+b_2+b_3$ 。因为 $A$ 是三角矩阵，这些方程可以有序的求出解（从顶部到底部）。
下面是两个具体的例子： $\boldsymbol b=\begin{bmatrix}0\\0\\0\end{bmatrix}得\,\boldsymbol x=\begin{bmatrix}0\\0\\0\end{bmatrix},\kern 5pt\boldsymbol b=\begin{bmatrix}1\\3\\5\end{bmatrix}得\,\boldsymbol x=\begin{bmatrix}1\kern 36pt\\1+3\kern 18pt\\1+3+5\end{bmatrix}=\begin{bmatrix}1\\4\\9\end{bmatrix}$ 第一个解全都是 $0$ 的例子是很重要。用语言来描述就是：如果输出 $\boldsymbol b=\boldsymbol 0$ ，则必有输入 $\boldsymbol x=\boldsymbol 0$ 。对于这个矩阵 $A$ 是成立的，但并不是对所有的矩阵都成立。
矩阵 $A$ 是可逆的，从 $\boldsymbol b$ 可以反推得到 $\boldsymbol x$ ，记作 $\boldsymbol x=A^{-1}\boldsymbol b$ 。

三、逆矩阵

式（1.3.6）中的 $A^{-1}$ 是一个求和矩阵： $求解\,A\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}b_1\kern 43pt\\b_1+b_2\kern 22pt\\b_1+b_2+b_3\end{bmatrix}=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\kern 15pt(1.3.7)$ 如果 $\boldsymbol x$ 之间的差是 $\boldsymbol b$ ，那么 $\boldsymbol b$ 之间的和就是 $\boldsymbol x$ 。方程式（1.3.7）的求和矩阵就是差分矩阵 $A$ 的逆矩阵 $A^{-1}$ 。
例： $\boldsymbol x=(1,2,3)$ 的差是 $\boldsymbol b=(1,1,1)$ ，所以 $\boldsymbol b=A\boldsymbol x$ ， $\boldsymbol x=A^{-1}\boldsymbol b$ ： $A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}1\\1\\1\end{bmatrix}\kern 10ptA^{-1}\boldsymbol b=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\end{bmatrix}\begin{bmatrix}1\\1\\1\end{bmatrix}=\begin{bmatrix}1\\2\\3\end{bmatrix}$ 从方程（1.3.7）的解 $\boldsymbol x=(x_1,x_2,x_3)$ 可以得到两个结论：

对于每一个 $\boldsymbol b$ ，都存在一个 $A\boldsymbol x=\boldsymbol b$ 的解；
矩阵 $A^{-1}$ 可以得到解 $\boldsymbol x=A^{-1}\boldsymbol b$ 。

微积分注解：将这些特殊的矩阵同微积分联系起来，向量 $\boldsymbol x$ 对应函数 $x (t)$ ，差分 $A\boldsymbol x$ 对应导数 $\textrm dx/\textrm dt=b(t)$ ，和 $A^{-1}\boldsymbol b$ 就对应 $b (t)$ 的积分。差的和就像导数的积分。
从微积分的基础定理我们知道：导数和积分互为逆运算。 $A\boldsymbol x=\boldsymbol b\,与\,\boldsymbol x=A^{-1}\boldsymbol b\kern 15pt\frac{\textrm dx}{\textrm dt}=b(t)\,与\,x(t)=\int_0^tb(t)\,\textrm dt\kern 15pt(1.3.8)$ 平方数 $0$ ， $1$ ， $4$ ， $9$ 的差分是奇数 $1$ ， $3$ ， $5$ ， $7$ ， $x(t)=t^2$ 的导数是 $2 t$ ，当 $t = 1, 2, 3$ 时得到偶数 $b = 2, 4, 6$ 。但是差分和导数不同，这里矩阵 $A$ 得到的不是 $2 t$ ，而是 $2 t - 1$ ：反向差分（backward difference） $x(t)-x(t-1)=t^2-(t-1)^2=t^2-(t^2-2t+1)=2t-1\kern 10pt(1.3.9)$ 前向差分（forward difference）会得到 $2 t + 1$ 。中心差分（centered difference）是 $\Delta x/\Delta t$ ，其中 $\Delta x=x(t+1)-x(t-1)$ ， $\Delta t=(t+1)-(t-1)=2$ ： $x(t)=t^2\,的中心差分\kern 15pt\frac{(t+1)^2-(t-1)^2}{2}=2t\kern 15pt(1.3.10)$

四、循环差分

循环差分（cyclic difference）是不可逆的，这里同上个例子有三个向量， $\boldsymbol u$ 和 $\boldsymbol v$ 不变，将 $\boldsymbol w$ 改成 $\boldsymbol w^*$ ： $\boldsymbol u=\begin{bmatrix}\kern 7pt1\\-1\\\kern 7pt0\end{bmatrix}\kern 5pt\boldsymbol v=\begin{bmatrix}\kern 7pt0\\\kern 7pt1\\-1\end{bmatrix}\kern 5pt\boldsymbol w^*=\begin{bmatrix}-1\\\kern 7pt0\\\kern 7pt1\end{bmatrix}$ 现在 $\boldsymbol u,\boldsymbol v,\boldsymbol w^*$ 的线性组合将得到循环差分矩阵 $C$ ：

$\textbf{循环差分}\kern 15ptC\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&-1\\-1&\kern 7pt1&\kern 7pt0\\\kern 7pt0&-1&\kern 7pt1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\boldsymbol b\kern 15pt(1.3.11)$

$C$ 不是一个三角矩阵。当给定 $\boldsymbol b$ 时， $C\boldsymbol x=\boldsymbol b$ 要么有无穷多个解，要么无解： $C\boldsymbol x=\boldsymbol 0\,有无穷多个解\,\boldsymbol x\kern 10pt\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix} 的解是所有向量\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}c\\c\\c\end{bmatrix}\kern 10pt(1.3.12)$ 每一个常数 $c$ 都满足，例如 $\boldsymbol x=(3,3,3)$ 的循环差都是 $0$ 。任意常数 $c$ 就像不定积分时所加的任意常数 $+ C$ 。
$C\boldsymbol x=\boldsymbol b$ 更大的可能是 $\boldsymbol x$ 无解： $C\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}1\\3\\5\end{bmatrix}\kern 10pt\begin{matrix}左侧相加等于0\\右侧相加等于9\\x_1,x_2,x_3无解\end{matrix}\kern 10pt(1.3.13)$ 从几何角度来看，不存在 $\boldsymbol u,\boldsymbol v,\boldsymbol w^*$ 的线性组合可以得到向量 $\boldsymbol b=(1,3,5)$ ，它们的线性组合无法形成全部的三维空间。右侧的向量必须满足 $b_1+b_2+b_3=0$ 才能保证 $C\boldsymbol x=\boldsymbol b$ 有解，因为左侧的 $x_1-x_3)+(x_2-x_1)+(x_3-x_2)=0$ 。换句话说：
所有的线性组合 $x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w^*$ 落在平面 $b_1+b_2+b_3=0$ 上。
这里将代数与几何相结合，线性组合可以形成整个空间，也可以只形成一个平面。Figure1.10 展示了这两种情况之间的差别：

在这里插入图片描述

五、无关与相关

Figure1.10 中第一个图是矩阵 $A$ 的列向量，第二个图是矩阵 $C$ 的列向量。 $\boldsymbol u$ 和 $\boldsymbol v$ 是一样的，只看这两个向量的组合，可以得到一个二维的平面，关键是第三个向量是否在这个平面上。
无关（independence）： $\boldsymbol w$ 不在 $\boldsymbol u$ 和 $\boldsymbol v$ 形成的平面上。
相关（dependence）： $\boldsymbol w^*$ 在 $\boldsymbol u$ 和 $\boldsymbol v$ 形成的平面上。
重点在于向量 $\boldsymbol w^*$ 是 $\boldsymbol u$ 和 $\boldsymbol v$ 的线性组合： $\boldsymbol u+\boldsymbol v+\boldsymbol w^*=\boldsymbol 0\kern 15pt\boldsymbol w^*=\begin{bmatrix}-1\\\kern 7pt0\\\kern 7pt1\end{bmatrix}=-\boldsymbol u-\boldsymbol v\kern 20pt(1.3.14)$ 这三个向量 $\boldsymbol u,\boldsymbol v,\boldsymbol w^*$ 分量的和都是零，它们所有的线性组合都会有 $b_1+b_2+b_3=0$ （即将这三个方程相加），这个平面就是 $\boldsymbol u$ 和 $\boldsymbol v$ 的线性组合所形成的，而 $\boldsymbol w^*$ 已经在这个平面上了，我们并没有得到任何新的向量。
而 $\boldsymbol w=(0,0,1)$ 并不在这个平面上，因为 $0+0+1\neq0$ ， $\boldsymbol u,\boldsymbol v,\boldsymbol w$ 的线性组合可以形成整个三维空间。对于任意的 $\boldsymbol b$ ，我们可以通过式（1.3.6） $\boldsymbol x=A^{-1}\boldsymbol b$ 找到它的线性组合，使方程成立。
$\boldsymbol u,\boldsymbol v,\boldsymbol w$ 无关，除了 $0\boldsymbol u+0\boldsymbol v+0\boldsymbol w=\boldsymbol 0$ 外，没有其它任何线性组合可以得到 $\boldsymbol b=\boldsymbol 0$ 。
$\boldsymbol u,\boldsymbol v,\boldsymbol w^*$ 相关，存在除 $\boldsymbol x=(0,0,0)$ 之外的其它线性组合使得 $A\boldsymbol x=\boldsymbol b=\boldsymbol 0$ 。
将其推广到 $n$ 维空间的 $n$ 个向量，则这些向量是一个 $n\times n$ 矩阵的列：
无关列： $A\boldsymbol x=\boldsymbol 0$ 仅有一个解， $A$ 是可逆矩阵。
相关列： $C\boldsymbol x=\boldsymbol 0$ 有很多解， $C$ 是奇异矩阵。

六、主要内容总结

矩阵乘向量： $A\boldsymbol x=A$ 列的线性组合。
当 $A$ 是可逆矩阵时， $A\boldsymbol x=\boldsymbol b$ 的解是 $\boldsymbol x=A^{-1}\boldsymbol b$ 。
循环差分矩阵 $C$ 没有逆矩阵，因为它的三个列在同一平面，这些相关列相加是零向量， $C\boldsymbol x=\boldsymbol 0$ 有很多解。

七、例题

【例1】将 $A$ 的左下角单元 $a_{31}$ （第3行，1列）改成 $a_{31}=1$ ，则 $A\boldsymbol x=\boldsymbol b$ 变成： $\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt1&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 47pt\\-x_1+x_2\kern 31pt\\x_1-x_2+x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}$ 对任意的 $\boldsymbol b$ 求出 $\boldsymbol x$ 。求出 $A$ 的逆矩阵 $A^{-1}$ ，使得 $\boldsymbol x=A^{-1}\boldsymbol b$ 成立。
解：从上到下求解（线性三角形）系统 $A\boldsymbol x=\boldsymbol b$ ： $\left\{\begin{matrix}x_1=b_1\kern 44pt\\x_2=b_1+b_2\kern 22pt\\x_3=\kern 21ptb_2+b_3\end{matrix}\right.可得\,\boldsymbol x=A^{-1}\boldsymbol b=\begin{bmatrix}1&0&0\\1&1&0\\0&1&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}$ 矩阵 $A$ 的三个列仍是无关列，它们不在同一平面，这三个列的线性组合使用正确的加权 $x_1$ ， $x_2$ ， $x_3$ ，可以得到任意的三维向量 $\boldsymbol b=(b_1,b_2,b_3)$ ，而这些加权可以从 $\boldsymbol x=A^{-1}\boldsymbol b$ 得到。

【例2】 $E$ 是一个消元（elimination）矩阵， $E$ 有一个减法， $E^{-1}$ 则有一个加法。 $\boldsymbol b=E\boldsymbol x\kern 15pt\begin{bmatrix}b_1\\b_2\end{bmatrix}=\begin{bmatrix}x_1\kern 27pt\\x_2-lx_1\end{bmatrix}=\begin{bmatrix}\kern 7pt1&0\\-l&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}\kern 15ptE=\begin{bmatrix}\kern 7pt1&0\\-l&1\end{bmatrix}$ 第一个方程是 $x_1=b_1$ ，第二个方程是 $x_2-lx_1=b_2$ 。因为消元矩阵有减法，所以其逆矩阵会把 $lb_1$ 加到 $b_2$ ： $\boldsymbol x=E^{-1}\boldsymbol b\kern 15pt\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}b_1\kern 19pt\\lb_1+b_2\end{bmatrix}=\begin{bmatrix}1&0\\l&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\end{bmatrix}\kern 15ptE^{-1}=\begin{bmatrix}1&0\\l&1\end{bmatrix}$
【例3】将矩阵 $C$ 从循环差分变为中心差分产生 $x_3-x_1$ ： $C\boldsymbol x=\boldsymbol b\kern 15pt\begin{bmatrix}\kern 7pt0&\kern 7pt1&0\\-1&\kern 7pt0&1\\\kern 7pt0&-1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_2-0\kern 6pt\\x_3-x_1\\0-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\kern 20pt(1.3.15)$ $C\boldsymbol x=\boldsymbol b$ 只有在 $b_1+b_3=x_2-x_2=0$ 时才有解，这个是三维空间中向量 $\boldsymbol b$ 的一个平面。 $C$ 的每一列都在这个平面上，该矩阵不可逆，所以这个平面包含了这些列的全部线性组合（即所有的向量 $C\boldsymbol x$ ）。式（1.3.15）将 0 也写了进去，可以看到矩阵 $C$ 产生了 “中心差分”， $C\boldsymbol x$ 的行 $i$ 是 $x_{i+1}-x_{i-1}$ 。
下面是 $4 \times 4$ 中心差分的例子： $C\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}0&1&0&0\\-1&0&1&0\\0&-1&0&1\\0&0&-1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix}=\begin{bmatrix}x_1-0\\x_3-x_1\\x_4-x_2\\0-x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\\b_4\end{bmatrix}$ 这个矩阵是可逆的！但是 $5\times5$ 的矩阵是奇异的 $\cdots$