線性代數筆記27——對稱矩陣及正定性
原文 | https://mp.weixin.qq.com/s/zdQttJfuubyztiVplScbwA
對稱矩陣
對稱矩陣是最重要的矩陣之一，對于對稱矩陣來說，A=AT。矩陣的特殊性也表現在特征值和特征向量上，比如馬爾可夫矩陣的有一個值為1的特征值，對稱矩陣的特征值又有哪些特性呢？
本文的相關知識：
正交向量和正交矩陣 （線性代數20——格拉姆-施密特正交化）
投影矩陣 （線性代數18——投影矩陣和最小二乘）
複數 （閑話複數（1））
譜定理
對于實對稱矩陣來說，它的特征值也為實數，并且能夠挑選出完全正交的特征向量。
機關矩陣是對稱矩陣，它的特征值都是1，并且機關矩陣的每一個列向量都是特征向量，它們完全正交，是以機關矩陣肯定符合實對稱矩陣特征值和特征向量的性質。
P是投影矩陣也是機關矩陣，x是一個二維向量，如果x在平面的投影是x本身，即Px=x，那麼平面内的所有向量都是P的特征向量。更一般的情況是，在重特征值的情況下，可能一個平面内的所有向量都能作為特征向量，是以我們說實對稱矩陣“能夠挑選出完全正交的特征向量”，下面是一個例子：
A的特征值全部是λ=a，對于任何向量都有Ax=λx，是以任何向量都是特征向量，但這些特征向量并不都是正交的，是以是從中選出一套正交向量。
如果A有n個線性無關的特征向量，那麼A可以對角化為A=S∧S-1，如果A是對稱矩陣，那麼A對角化後有更好的性質：
Q是A的特征向量矩陣，同時也是正交矩陣，列向量是标準正交基。對于一個列向量标準正交的矩陣來說，矩陣的逆等于矩陣的轉置，是以：
上式是說，如果給定一個對稱矩陣，那麼這個矩陣就可以分解成正交矩陣乘以特征值矩陣再乘以正交矩陣的轉置的形式，這種分解在數學上稱為“譜定理”，将特征值的集合視為譜，力學上稱為“主軸定理”。
譜定理展示了對稱矩陣的對稱性，Q∧QT的轉置還是原矩陣：
∧是對角矩陣，它的轉置還是∧。
為什麼是實特征值？
矩陣的特征值可能為虛數，但實對稱矩陣的特征值一定是實數，這又是什麼原理？
先解釋一下共轭複數(conjugate complex number)：兩個實部相等，虛部互為相反數的複數互為共轭複數。當虛部不為零時，共轭複數就是實部相等，虛部相反；如果虛部為零，其共轭複數就是自身。複數z的共轭複數用z上面加一橫表示。
“轭”的本意是兩頭牛背上的架子，轭使兩頭牛同步行走。共轭是指按一定的規律相配的一對。
如果實矩陣A有特征值λ和特征向量x，則Ax=λx。如果λ是複數，則λ的共轭複數滿足：
如果等号兩側同時轉置：
λ是對角矩陣，其共轭仍然是對角矩陣，是以：
兩側同時乘以x：
另一方面，将Ax=λx兩側同時乘以x共轭的轉置：
現在假設A是對稱矩陣，則①和②相等，即：
根據共轭複數的定義，如果一個複數的共轭等于這個數本身，那麼其虛部為0，即這個數是實數。
現在的問題是如何證明
？
對于虛數來說，i2=-1，(bi)2=-b2。對于複數來說，z=a+bi來說，它的模幾何意義是複平面上一點(a,b)到原點的距離，模長的計算公式是：
是以：
對于複矩陣來說，若A是共轭對稱複矩陣，即
，那麼上面的推導仍然成立，A的特征值也是實數。
朝向正交向量的投影矩陣
對于一個實對稱矩陣A=AT，可以寫成下面的形式：
根據投影矩陣的定義：向量b的在向量a上的投影是一個矩陣作用在b上得到的，這個矩陣就叫做投影矩陣（Projection Matrix），用大寫的P表達：
由于Q中的向量是正交向量，是以：
是以qkqkT是某個向量在qk上的投影矩陣，是以每一個對稱矩陣也是朝向正交向量的投影矩陣的線性組合。
特征值的符号
我們已經知道對稱矩陣的特征值是實數，下一個問題是弄清它們的符号，這對微分方程來說意味着狀态是否穩定。
我們可以通過計算的方式求解特征值，然後回答特征值的符号問題，但對于一個大型矩陣來說，通過計算det(A-λI) = 0來求解特征值并不容易。值得慶幸的是，對于對稱矩陣來說，主元和特征值存在着相關性：主元和特征值的個數一樣，且正負主元的個數都和正負特征值的個數相同。
正定矩陣
正定矩陣是一類特殊的實對稱矩陣，如果一個矩陣M滿足對于任何非零向量z，都有zTMz> 0，那麼這個矩陣是正定矩陣。
正定矩陣有很多重要的性質，其中一個是：正定矩陣的特征值和主元都是正數。
來看一個正定矩陣：
首先A是一個對稱矩陣，現在來計算一下它的主元。可以通過化簡行階梯矩陣的形式求得主元，在經過變換後，矩陣表示的“數表”改變了，但是如果将矩陣看方程組，那麼方程組的本質沒有變，可以将初等變換看成方程組的消元過程。
兩個主元是5和11/5。另一種方式或許更為簡單，原矩陣中轉換成上三角矩陣的時候，一定能變成下面的形式：
它的行列式是主對角線元素的乘積，行列式的值又和原矩陣的行列式相等，是以a=det(A)/5=11/5。
類似地，可對角化的矩陣可也以化成對角元素都是其特征值的對角矩陣，而行列式的值不變，對角矩陣的行列式就是對角元素相乘，是以A的行列式也等于A的特征值的乘積。
特征值：
與行列式的關系
正定矩陣的主元和特征值都是正數，是以可以确定其行列式也是正數（行列式等于主元的乘積，也等于所有特征值的乘積），但行列式是正數的矩陣不一定是正定矩陣，比如下面這個矩陣，雖然行列式是正值，但并不是一個正定矩陣，甚至都不是對稱矩陣：
如果把行列式作為正定矩陣的判定依據，則對于n階矩陣來說，需要矩陣左上角的所有k×k (1≤k≤n)子行列式均為正，才能判定矩陣是正定矩陣。
正定矩陣的性質
正定矩陣都是可逆的。
矩陣可逆的條件是行列式不等于0，行列式等于特征值的乘積，正定矩陣的性質又規定特征值是正數，是以正定矩陣的行列式一定大于0，是可逆矩陣。
隻有正定的投影矩陣才是機關矩陣。
如果P是投影矩陣，那麼P的特征值要麼是0，要麼是1。如果P是正定的，那麼根據定義，它的特征值隻能是1，特征值矩陣是機關矩陣，是以：
如果D是一個對角元素都是正數的對角矩陣，那麼D一定是個正定矩陣。
對角矩陣肯定是對稱的，對于任何非零向量x來說：
滿足正定矩陣的定義。
若A是正定矩陣，則A的逆矩陣也是正定矩陣。
首先證明矩陣A的逆是對稱矩陣。因為A是正定的，是以：
再證明xTA-1x > 0
A是正定矩陣，對于任意向量u來說，uTAu > 0，是以xTA-1x > 0，A-1也是正定矩陣。
兩個正定矩陣的和是正定矩陣。
正實數與正定矩陣的乘積是正定矩陣。
作者：我是8位的
出處：https://mp.weixin.qq.com/s/zdQttJfuubyztiVplScbwA
本文以學習、研究和分享為主，如需轉載，請聯系本人，标明作者和出處，非商業用途！
掃描二維碼關注作者公衆号“我是8位的”