矩陣論 - 1 -

A major application of linear algebra is to solving systems of linear equations. This lecture presents three ways of thinking about these systems. The "row method" focuses on the individual equations, the "column method" focuses on combining the columns, and the "matrix method" is an even more compact and powerful way of describing systems of linear equations.

方程組的幾何解釋

對于如下方程組：\(\begin{cases}2x&-&y&=0\\-x&+&2y&=3\end{cases}\)

矩陣圖像

将上述方程組寫作矩陣形式有\(\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)，通常我們把第一個矩陣稱為系數矩陣（coefficient matrix）\(A\)，将第二個矩陣稱為向量\(x\)，将第三個矩陣稱為向量\(b\)，于是線性方程組可以表示為\(Ax=b\)。

行圖像

行圖像從矩陣的 row 看起，對于每一個 row 來說，在 2D 中可以決定一條直線，在 3D 中決定一個平面。

上述方程組用圖像表示如下，即直角坐标系中兩直線相交的情況：

列圖像

列圖像從 column 看起，形成了列向量的線性組合（linear combination），是以在 2D 和 3D 中都是向量，隻不過2者之間相差一個次元而已

上述方程組可表示為：\(x\begin{bmatrix}2\\-1\end{bmatrix}+y\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)（将第一個向量稱作 \(col_1\)，第二個向量稱作 \(col_2\)，以表示第一列向量和第二列向量）。

要使得上式成立，需要第一個向量加上兩倍的第二個向量，即\(1\begin{bmatrix}2\\-1\end{bmatrix}+2\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)。（藍色+紅色虛線，三角形定則）。

\(col_1,col_2\)的某種線性組合得到了向量 \(b\)，\(col_1,col_2\)的所有線性組合将鋪滿整個平面。

如何求解 \(Ax=b\)

對于 \(Ax=b\)，可以明确的是，這是一個乘法（Matrix Multiplication）運算（上述例子中是矩陣乘以一個向量）

1. 列向量線性組合 \(\begin{bmatrix}2&5\\1&3\end{bmatrix}\begin{bmatrix}1\\2\end{bmatrix}=1\begin{bmatrix}2\\1\end{bmatrix}+2\begin{bmatrix}5\\3\end{bmatrix}=\begin{bmatrix}12\\7\end{bmatrix}\)
2. 向量内積 \(\begin{bmatrix}2&5\end{bmatrix}\cdot\begin{bmatrix}1&2\end{bmatrix}^T=12,\ \begin{bmatrix}1&3\end{bmatrix}\cdot\begin{bmatrix}1&2\end{bmatrix}^T=7\)

教授建議使用第一種方法，将\(Ax\)看做\(A\)列向量的線性組合。

線性無關

對于任意的 \(b\)，是否都能求解 \(Ax=b\)？

用列向量線性組合的觀點闡述就是，列向量的線性組合能否覆寫整個空間？（可能是xy-plane，也可能xyz-plane）

對應到三維列圖像中，三個向量在同一個平面上（線性相關），形如\(col_3=col_1+col_2\)，他們的線性組合也一定都在這個平面。如果 \(b\) 在該平面内，則有解；若不再該平面内，則這三個列向量就無法構造出 \(b\)。

這種情形稱為奇異（singular）、矩陣不可逆。

If the answer is “no”, we say that A is a singular matrix. In this singular case its column vectors are linearly dependent; all linear combinations of those vectors lie on a point or line (in two dimensions) or on a point, line or plane (in three dimensions). The combinations don’t fill the whole space.

reference

[1] textbook

[2] mit18.06學習筆記