線性代數筆記29——正定矩陣和最小值
原文連結 | https://mp.weixin.qq.com/s/wX6wmVSqJUTgbmk8Z1r2_w
判斷正定矩陣
給出一個矩陣：
有4個途徑可以判定該矩陣是否是正定矩陣（注意這個矩陣的4個元素中有2個b，這是因為正定矩陣是對稱矩陣，如果A的次對角線的元素不相等，A就不是對稱的，也就沒有必要進一步判定是否是正定的）：
- 所有特征值大于0，λ1>0，λ2>0
- 行列式及左上角的所有k階子行列式均為正（1≤k≤n）
- a > 0, ac – b2 > a （針對2階矩陣）
- 對于任意非零向量x，xTAx > 0
其中第4個是正定的定義，前3個是用來驗證正定的條件。
當y怎樣取值時，下面的2階矩陣是正定的？
根據條件2可知，2y > 62時，即y>18時，矩陣是正定的。
如果y=18，則矩陣正好處于正定的臨界點上，此時A是奇異矩陣，有一個特征值是0，xTAx = 0。我們稱這種處于臨界點上的正定矩陣為半正定矩陣。
矩陣的二次型
再來看一下xTAx。對于非零向量x來說，Ax是線性形式，加入xT後就變成了含有二次項的形式，比如：
這種形式稱為矩陣的二次型。當然xTAx也隻有二次型，沒有三次型和四次型，即使x是更多元度的向量也一樣，比如當x是三維向量時，最終結果仍然隻含有二次項：
如果對于任意非零向量x來說，矩陣的二次型都大于0，那麼這個矩陣是正定矩陣。
y=18時A是半正定矩陣，當x1=3,x2=-1時，其二次型為0：
二次型的意義
為了畫出幾何圖形，我們以二階矩陣為例，先看一個非正定矩陣：
它的二次型是2x12 + 12x1x2 + 7x22，其幾何圖形如下：
從圖形上看沒有最小值點，原點處是一個鞍點，在某個方向看是極大值，同時又是另一個方向的極小值。下圖是個經典的鞍點，圖形呈馬鞍狀：
再來看正定矩陣：
A的二次型是f(x,y) = 2x2 + 12xy + 20y2，圖形如下：
回顧本節出現的兩個二次型，它們都可以通過配方寫成完全平方的形式：
當x,y不全是0時，可以判斷第2個二次型一定大于0，第一個就不一定了。此外還可以通過二次型判斷臨界點是(0, 0)點。
經過配方後的二次型很奇妙，它還可以來自消元：
消元變成了上三角矩陣。A可以通過LU分解成：
現在把原矩陣、二次型和LU分解放到一塊：
經過消元後的第一個主元是x的系數，第二個主元正是配方項2y2的系數，如果f大于0，那麼這兩個系數一定是正值，這也是為什麼正定矩陣的主元一定都為正的原因。
換一個矩陣試試：
其中一個主元是負數，對應的二次型也不能保證一定大于0。
正定矩陣與最小值
正定矩陣對應的二次型是有最小值的。
二進制函數
判斷一進制函數是否有最小值，需要判斷它的導數和二階導，同樣，多元函數是否有最小值也要根據臨界點和二階導判斷。我們在多變量微積分中介紹過怎樣判斷二進制函數的最小值，最小值出現在臨界點上：f(x, y)的一個臨界點是(x0, y0)，即fx(x0, y0) = 0 且 fy(x0, y0) = 0， f的最小值是根據二階導數判斷的：
對于f(x,y) = 2x2 + 12xy + 20y2來說：
臨界點符合最小值的條件，是以(0,0)是f(x,y) = 2x2 + 12xy + 20y2的最小值。這個結論實際上來源于對A的二階導矩陣的正定性的判斷：
對于二進制函數的混合偏導來說，fxy和fyx是一樣的，是以這個矩陣是對稱矩陣。在求得臨界點後，根據判定正定矩陣的第3條，隻要滿足下面的條件，則這個二階導矩陣是正定矩陣：
三元函數
現在召喚一個三元矩陣，然後判斷它的正定性：
先對其進行消元：
A的主元都大于0，這符合正定矩陣的性質，是一個必要條件。
接下來我們通過子行列式判斷A的正定性：
現在可以确定A是正定矩陣。如果進一步求得特征值，則A的3個特征值是：
特征值之和等于A的迹，特征值之積等于A的主元之積。
A是正定矩陣，是以可以判定A的二次型是有最小值的：
用配方法驗證：
可以看出最小值的點是(0, 0, 0)。
原文連結 | https://mp.weixin.qq.com/s/wX6wmVSqJUTgbmk8Z1r2_w
更多極值問題，可參考作者公衆号的專欄《單變量微積分》《單變量微積分》《程式員的數學》中的相關文章。
出處：微信公衆号 "我是8位的"
本文以學習、研究和分享為主，如需轉載，請聯系本人，标明作者和出處，非商業用途！
掃描二維碼關注作者公衆号“我是8位的”