正交向量與子空間-線性代數課時14（MIT Linear Algebra , Gilbert Strang）

         這是Strang教授的第十四講，講解的内容是正交的概念、四個子空間的正交關系,并在四個子空間的正交關系上解釋Ax=b的解在四個子空間的映射關系，更進一步了解Ax=b，另外稍微提及了當Ax=b無解的時候怎樣求解？

正交概念

        兩個向量v和w正交意思是向量v垂直于w，那麼如何判斷向量v和w正交呢？在幾何上可以通過判斷v和w的夾角為90°，那麼線上性代數裡是通過計算v和w的點積：

        兩個向量正交 ： 

        那麼為什麼兩個向量正交，它們的點積就為0呢？下面給出一個簡單的證明：

        假設v和w是直角三角形的直角邊，那麼這個直角三角形的斜邊向量是v+w，根據直角三角行的特點：直角邊的平方之和等于斜邊的平方有：

         得證。

         根據判斷向量正交的條件，知道有個特别的向量，它與所有的向量都正交，這個向量就是0向量。

四個子空間的正交關系

        這裡首先要給出一個定義，關于正交子空間。

        定義：兩個子空間V和W,如果V中的每個向量v和W中的每個向量w都正交，就說V和W正交.

        四個基本子空間擁有很良好的正交性質，展現在：1.零空間

與行空間

是

中的正交子空間；2.左零空間

與列空間

是

中的正交子空間。下面給出零空間與行空間正交的推導，因為左零空間與列空間的推導完全一樣，隻是将A換成

.推導：

，根據Ax=0知道A中所有行向量與x均正交，由于A的行空間是有row(1) ... row(m) 生成的，是以A行空間的所有向量均與x正交，是以A的行空間

與零空間

正交,得證。

正交補

        四個基本子空間的正交關系還不僅僅是正交子空間的關系，它們在維數上還存在恰好正确的關系：dim(

)+dim(

) = n,

dim(

)+dim(

)=m，他們不僅僅隻是正交關系，他們是一組正交補。正交補的定義：

        定義：子空間V的正交補包含所有與子空間V正交的向量，記作

.

        根據定義，

就是

,

就

。正交補的概念很重要，它表明

中的任何一個向量x都可以拆分為互為正交補的來給你個子空間的向量之和。以Ax=b的解x為例，x是屬于

中的向量，x可以拆分為在行空間的分量

和零空間中的分量

之和，即

,Ax=b可以做如下拆解：

        零空間分量：

        行空間分量：

        對于列空間确定的b，在行空間中有且隻有1個

通過矩陣A的左乘映射到列空間。證明：假設有另外的

,那麼有

,那麼

在A的零空間中，又因為

和

在行空間中，是以

又在A的行空間中，是以

隻能是0向量，是以

，也就證明了對于确定的b，

的唯一性。下面的圖完全表達了Ax=b在A四個基本子空間中的映射關系：

        看懂上面這幅圖很重要。

當b不在A的列空間的時候，如何求解Ax=b

        當Ax=b無解的時候，如何求解Ax=b？這看起來是一個十分荒謬的問題，但實際上有很多實際應用都是求解這樣的問題，比如我們對一個系統建立了一個線性模型，線性模型隻有兩個未知數也就是說n=2，而為了确定這個系統的數學模型我們做了100次實驗得到100組實驗結果，也就是說m=100，那麼求解這個線性系統就是求解100個方程、2個未知數的方程的解，往往這樣的Ax=b都是無解的。那這時候再數學上我們怎麼辦？這時候往往我們可以通過最小二乘的方法來求得最優解。看着上圖，這種情況下b不在列空間中，而是在列空間和左零空間以外的區域，最小二乘的思想是将b分解成列空間中的向量p和做零空間中的向量e，将求解Ax=b變為求解Ax=p，而e是誤差向量。

        下面各處最小二乘求解Ax=b的公式，在16講中會講解它是如何來的。最小二乘求解：

         最小二乘公式： 

         這裡給出

的的幾個重要特點（證明在16講）：1.

 ; 2.

; 3.

可逆當A的各列線性無關。

本課的内容對應《INTRODUCTION TO LINEAR ALGEBRA》4.1章節。