線性代數（筆記八） MIT公開課（來源網易雲課堂）
關于線性代數的筆記
課程來源：網易雲課堂學習計劃（課程連結）
作者簡述：作者為一名正在讀研的學生，自己的數學狀态較差。大學期間所學均能算跟得上，而且通過自己的努力經過了研究所學生考試。但是對數學的了解并不透徹，隻是根據課上所學去做題而已。如今科研中，許多過程均需要用到所學的數學知識，然而一個好的了解和一個紮實的基礎才是科研之本。數學雖然是作為一種工具，如果不了解含義，無論是是使用上還是在其基礎之上進行修改均顯得支支吾吾。于是決定重新學習線性代數相關知識，并做此筆記以供複習或和他人分享。
用途：此系列文章均是作者在課上所學及其自己相關的數學思想所做的筆記，如有了解錯誤之處還望大家指出。本系列文章均可不咨詢情況下任意轉載和學習（不可商用）。
作者研究方向為機器學習，如果有相同方向的小夥伴想一起學習，請加QQ123854340（備注來源部落格），如果人數較多還可能建群。同時發現文章中有錯誤之處也請發郵件到[email protected]或者下方留言。
在上節課中，我們對方程組（AX = 0）進行求解。這節課，我們将對方程組（AX = b）進行求解，并探讨它的可解性。
一、方程組AX = b
首先，給出一個方程組（AX = b）的例子，讓我們先對這個特例進行簡要的分析：（方程組如下圖）
對于這個方程組，我們不妨去思考一下，當b1、b2、b3為何值時，方程組将會無解，為何值時，方程組會有解！仔細觀察，你将會發現方程組第一行系數，和第二行系數與第三行系數存在着關系（r1 + r2 = r3，當然這也是故意設定的，友善講解）如下圖是方程組系數矩陣A（在系數矩陣中看着更加的清晰）
如果将b1、b2、b3設定為1、3、15，很顯然方程組将無解。而如果設定為1、3、4則方程組有解。如果方程組行存在r1 + r2 = r3這樣的關系，那麼b的分量也必須滿足，否則将會無解。還可以從另外一個角度去了解。如下，方程組的增廣矩陣為：
我們對其增廣矩陣進行消元變換，如下：
可以看出，當我們對增廣矩陣消元至第三行都為0的狀态時，b3-b2-b1必須為0，否則方程組将無解。
二、方程組AX = b的可解性
在AX = 0方程中筆記中，我們并沒有提到可解性的問題，因為方程組AX = 0一定有解（0解）。而通過上面的初步認識，我們發現AX = b這個方程組有可能出現無解的狀态。
如果從行的角度去了解，我們可以有如下總結。如果方程組系數矩陣A的行的線性組合可以生成0向量，那麼相同的組合作用在b的分量上，也必須得到0。
如果從列的角度去了解，我們可以把方程組看做如下表達：
即：可以看成是系數矩陣A的列的線性組合，而方程組的意思則是是否對于向量b存在一種組合系數，使得系數矩陣A的列可以線性的表示b。很顯然，如果b存在于系數矩陣A的列所構成的空間中（即列空間C（A）），那麼方程組有解。
三、方程組AX = b的解
當方程組有解的情況下，我們即可求出其完整的解。其解的結構有兩部分組成。
1、特解
根據增廣矩陣的消元變化，我們可以得到方程組的主元和自由變元，當我們将所有的自由變元設定為0，并且利用自由變元求出主元，我們即可獲得方程組的一個特解（因為我們對自由變元設定了值，是以我們稱之為特定的解）。
2、NullSpace（通解）
我們求解方程組AX = b所對應的方程組AX = 0的解，即A的NullSpace（A的零空間）。
由于：
是以Xp+Xn為方程組的解。（AX = b的解不在是一個空間）
對于方程組系數矩陣A的不同狀态，它對應的解也有所不同（但整體解的結構是一樣的）。下面我們對其進行總結：
對于一個m by n的矩陣A，他的秩r存在關系：r<=m,r<=n
1、Full column rank means r = n < m
對應的解隻有特解Xp（如果有解的話），也可能解不存在。我們可以自己寫個例子推導下去加注了解。
2、r = n = m
此時，對于任意的b一定存在一個解與之對應。因為A是可逆的方陣。它的列所組成的空間能表示任意個同次元向量。
3、Full row rank means r = m < n
此時對于任意的b都有解，它的解有無窮多個。因為存在自由變元n-r個。
4、r<m,r<n
這種情況為一般情況，它可能無解，也可能有無窮多個解。