【數學】MIT線性代數總結

寫下自己的一些體會，溫故而知新

首先需要了解線性空間這個概念。最基本的線性空間是基于實數的線性空間，對于空間中的任意向量，需要滿足對向量數乘以及向量加法封閉。也就是說，任意實數乘以空間中的任意一個向量的結果應當仍處于該空間内，空間中的任意兩個向量的和仍處于該空間内。

但是為什麼要建立線性空間這個概念，我想我還沒有掌握其中的來由。目前的了解是這樣就可以對這一系列可以進行計算并且擁有一定聯系的向量進行一個歸類，保證對它們的操作是允許的合法的。

如何表示一個線性空間？最先想到的就是，把它包含的所有向量都表示出來，我都能表示這個空間中的所有向量了，那還怕什麼？這時候就要引出基的概念。基是指知道了一組向量後就可以通過這組向量表示出該空間内其他所有的向量。例如，二維空間中的任意一個向量，我都可以通過(1,0),(0,1)來表示。

這時候又引出了幾個重要概念，

1.基與坐标：确定了基，也就确定了任意一個向量(a,b)=a(1,0)+b(0,1)，這裡跳過了一個說明，向量本身與坐标是沒有關系的，它隻是一個有方向有大小的矢量，但是為什麼能用(a,b)來表示呢？這是因為我們下意識的使用了最常見的笛卡爾坐标系作為基來表示它，也就有了向量的坐标形式。也就是說，如果我選擇了另外一組基，同樣的向量在那組基下的坐标就不是(a,b)了。

2.維數：一組基中的向量數就是該空間的維數。例如，二維的維數是2，它的任意一組基都包含2個向量。N維的包含N個向量。。這裡再次強調基是能夠表示它張成的空間中的任意一個向量。

3.線性相關性：一組向量中，任意一個向量都無法又基中的其他向量表示，并且它們的組合可以囊括空間中的所有向量。提到線性相關，就需要提到線性方程組的求解問題。線性方程組Ax=0和Ax=b這兩種，本質上都是看等号右側的向量能否表示成系數矩陣列向量的線性組合？這是一個非常重要的觀念轉變，也涉及到對線性方程組求解的一系列步驟。從這個點出發，才有了列滿秩時，Ax=0隻有{0}解（滿秩意味着列向量線性無關，那麼線性組合為0隻有系數都為0才成立）

4.可逆：方陣才讨論可逆性。可逆的證明涉及到列向量的線性無關性，如果可逆意味着Ax=0隻有{0}解。可逆意味着Ax=b有唯一解，後面這個是如何了解的，可逆意味着列滿秩，也就是說，列向量是x向量所在的空間中的一組基，那麼一定存在一個線性組合可以得到b。

列空間，零空間，行空間，左零空間

列空間明顯就是列向量的線性組合所張成的空間，唯一需要注意的是，列向量不一定都是線性無關的，是以對于mxn矩陣，列空間的維數是r，維數等于列向量中線性無關的向量也就是主元的個數；

零空間則是滿足Ax=0的所有解所組成的空間。它的維數是n-r，也就是自由向量的個數。零空間的維數和自由向量個數相等這個我還沒有找到讓我信服的解釋。但是一般也比較好想到。

行空間自然就是行向量張成的空間，也是A轉置的列空間。它的維數也是r。矩陣的秩是唯一的。也就是說列向量和行向量中線性無關的向量個數是相等的。比較重要的一點是行空間與零空間是正交的，這個和矩陣乘法是對應的很容易想到。

左零空間是讓我比較難受的一個空間，它是A轉置的0空間，它與行空間正交，維數是m-r。這一點隻需要記住列空間和零空間的關系再通過轉置就可以得到了。

正交矩陣：方陣，列向量是一組标準正交基，逆=轉置

行列式：代數餘子式計算行列式，伴随矩陣是由代數餘子式組成的轉置矩陣，它和克萊姆法則都是用來求解矩陣的逆

特征值與特征向量：主要一點就是Ax=*x。關鍵是如果擁有N個線性無關的特征向量就可以對方陣進行對角化。實際上就是，該矩陣與由特征值組成的對角陣相似。這個最主要的一個作用是進行矩陣幂的計算時可以大大降低計算量。

特征值與特征向量在差分方程，微分方程以及馬爾可夫矩陣中的應用？？？

對稱陣：對稱陣是一個非常重要的矩陣，它最關鍵的一點在于一定可以對角化。也就是說一定可以找出n個線性無關并且互相正交的特征向量，這個關鍵的地方還是在于特征向量互相正交，有待證明。那麼對稱矩陣的對角化就可以在與對角陣相似的基礎上更進一步，因為特征向量互相正交，是以特征向量矩陣就是正交陣，轉置=逆。

在對稱陣的基礎上更進一步，如果特征值都為正，則是正定矩陣。1.特征值都大于0；2.順序主子式大于0；3.x轉置Ax（二次型）大于0.

相似：相似矩陣有相同的特征值，特征向量不同。

Jordan型

奇異值分解：将一個矩陣分解為兩個正交陣以及一個對角陣的乘積。這裡需要用到先前學到的4個子空間以及它們的正交關系。對于正定陣，奇異值分解本質上就是求解它的特征值和特征向量，然後就得到了奇異值分解。對于一般的矩陣，則需要在4個子空間中找到所有的标準正交基，組合後就完成了奇異值分解

線性變換

這個也是矩陣的本質，每一個矩陣其實都對應一個線性變換，包括線性方程組的系數矩陣也對應着線性變換。線性變換之前其實應當是線性映射，對應的矩陣是由兩個空間的兩組基确定的。矩陣是基于坐标描述線性變換的。如果源空間和目标空間使用的是同一組基，那麼就成了線性變換，也就是在同一個空間内通過矩陣将某一個向量變換成該空間中的另一個向量，這裡就和線代的本質關聯起來了，矩陣的每一列都是源空間的基向量通過線性映射後，在原先的基向量下的坐标。

！！！！！！！！！！！！！！！！！！！！！！11

下面是比較重要的一個概念，對于特征向量和特征值，如果用特征向量作為基，那麼變換後的基向量就隻是進行了一個拉伸，那麼在特征基張成的空間中看矩陣所對應的線性變換就隻是單純的拉伸而已。由此可見，選擇不同的基時，同一個線性變換對應的矩陣是不同的，計算量也大為不同，并且這些矩陣之間是相似的。是以矩陣的相似在這裡的作用，就是基變換。對稱陣，正定陣等等它們的相似矩陣會更好求解，是以進行基變換也會更加簡單。

傅裡葉變換？小波變換？