矩阵论 - 1 -

A major application of linear algebra is to solving systems of linear equations. This lecture presents three ways of thinking about these systems. The "row method" focuses on the individual equations, the "column method" focuses on combining the columns, and the "matrix method" is an even more compact and powerful way of describing systems of linear equations.

方程组的几何解释

对于如下方程组：\(\begin{cases}2x&-&y&=0\\-x&+&2y&=3\end{cases}\)

矩阵图像

将上述方程组写作矩阵形式有\(\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)，通常我们把第一个矩阵称为系数矩阵（coefficient matrix）\(A\)，将第二个矩阵称为向量\(x\)，将第三个矩阵称为向量\(b\)，于是线性方程组可以表示为\(Ax=b\)。

行图像

行图像从矩阵的 row 看起，对于每一个 row 来说，在 2D 中可以决定一条直线，在 3D 中决定一个平面。

上述方程组用图像表示如下，即直角坐标系中两直线相交的情况：

列图像

列图像从 column 看起，形成了列向量的线性组合（linear combination），因此在 2D 和 3D 中都是向量，只不过2者之间相差一个维度而已

上述方程组可表示为：\(x\begin{bmatrix}2\\-1\end{bmatrix}+y\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)（将第一个向量称作 \(col_1\)，第二个向量称作 \(col_2\)，以表示第一列向量和第二列向量）。

要使得上式成立，需要第一个向量加上两倍的第二个向量，即\(1\begin{bmatrix}2\\-1\end{bmatrix}+2\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)。（蓝色+红色虚线，三角形定则）。

\(col_1,col_2\)的某种线性组合得到了向量 \(b\)，\(col_1,col_2\)的所有线性组合将铺满整个平面。

如何求解 \(Ax=b\)

对于 \(Ax=b\)，可以明确的是，这是一个乘法（Matrix Multiplication）运算（上述例子中是矩阵乘以一个向量）

1. 列向量线性组合 \(\begin{bmatrix}2&5\\1&3\end{bmatrix}\begin{bmatrix}1\\2\end{bmatrix}=1\begin{bmatrix}2\\1\end{bmatrix}+2\begin{bmatrix}5\\3\end{bmatrix}=\begin{bmatrix}12\\7\end{bmatrix}\)
2. 向量内积 \(\begin{bmatrix}2&5\end{bmatrix}\cdot\begin{bmatrix}1&2\end{bmatrix}^T=12,\ \begin{bmatrix}1&3\end{bmatrix}\cdot\begin{bmatrix}1&2\end{bmatrix}^T=7\)

教授建议使用第一种方法，将\(Ax\)看做\(A\)列向量的线性组合。

线性无关

对于任意的 \(b\)，是否都能求解 \(Ax=b\)？

用列向量线性组合的观点阐述就是，列向量的线性组合能否覆盖整个空间？（可能是xy-plane，也可能xyz-plane）

对应到三维列图像中，三个向量在同一个平面上（线性相关），形如\(col_3=col_1+col_2\)，他们的线性组合也一定都在这个平面。如果 \(b\) 在该平面内，则有解；若不再该平面内，则这三个列向量就无法构造出 \(b\)。

这种情形称为奇异（singular）、矩阵不可逆。

If the answer is “no”, we say that A is a singular matrix. In this singular case its column vectors are linearly dependent; all linear combinations of those vectors lie on a point or line (in two dimensions) or on a point, line or plane (in three dimensions). The combinations don’t fill the whole space.

reference

[1] textbook

[2] mit18.06学习笔记