特征值 特征向量， 你怎麼看？

轉載自 科學網 孫菲菲

長時間以來一直不了解矩陣的特征值和特征向量到底有何意義（估計很多兄弟有同樣感受）。知道它的數學公式，但卻找不出它的幾何含義。

        矩陣乘以一個向量的結果仍是同維數的一個向量，是以，矩陣乘法對應了一個變換，把一個向量變成同維數的另一個向量，那麼變換的效果是什麼呢？這當然與方陣的構造有密切關系，比如可以取适當的二維方陣，使得這個變換的效果就是将平面上的二維向量逆時針旋轉30度.

         這時我們可以問一個問題，有沒有向量在這個變換下不改變方向呢？可以想一下，除了零向量，沒有其他向量可以在平面上旋轉30度而不改變方向的，是以這個變換對應的矩陣(或者說這個變換自身)沒有特征向量(注意：特征向量不能是零向量)，是以一個變換的特征向量是這樣一種向量，它經過這種特定的變換後保持方向不變，隻是進行長度上的伸縮而已(再想想特征向量的原始定義Ax=cx, cx是方陣A對向量x進行變換後的結果，但顯然cx和x的方向相同)。

       這裡給出一個特征向量的簡單例子，比如平面上的一個變換，把一個向量關于橫軸做鏡像對稱變換，即保持一個向量的橫坐标不變，但縱坐标取相反數，把這個變換表示為矩陣就是[1 0;0 -1]（分号表示換行），顯然[1 0;0 -1]*[a b]'=[a -b]'（上标'表示取轉置），這正是我們想要的效果，那麼現在可以猜一下了，這個矩陣的特征向量是什麼?想想什麼向量在這個變換下保持方向不變，顯然，橫軸上的向量在這個變換下保持方向不變(記住這個變換是鏡像對稱變換，那鏡子表面上(橫軸上)的向量當然不會變化)，是以可以直接猜測其特征向量是[a 0]'（a不為0），還有其他的嗎？有，那就是縱軸上的向量，這時經過變換後，其方向反向，但仍在同一條軸上，是以也被認為是方向沒有變化，是以[0 b]'（b不為0）也是其特征向量。

       綜上，特征值隻不過反映了特征向量在變換時的伸縮倍數而已，對一個變換而言，特征向量指明的方向才是很重要的，特征值似乎不是那麼重要；但是，當我們引用了Spectral theorem（譜定律）的時候，情況就不一樣了。

       Spectral theorem的核心内容如下：一個線性變換（用矩陣乘法表示）可表示為它的所有的特征向量的一個線性組合，其中的線性系數就是每一個向量對應的特征值。

       從這裡我們可以看出，一個變換（矩陣）可由它的所有特征向量完全表示，而每一個向量所對應的特征值，就代表了矩陣在這一向量上的貢獻率——說的通俗一點就是能量（power），至此，特征值翻身做主人，徹底掌握了對特征向量的主動：你所能夠代表這個矩陣的能量高低掌握在我手中，你還吊什麼吊？

       我們知道，一個變換可由一個矩陣乘法表示，那麼一個空間坐标系也可視作一個矩陣，而這個坐标系就可由這個矩陣的所有特征向量表示，用圖來表示的話，可以想象就是一個空間張開的各個坐标角度，這一組向量可以完全表示一個矩陣表示的空間的“特征”，而他們的特征值就表示了各個角度上的能量（可以想象成從各個角度上伸出的長短，越長的軸就越可以代表這個空間，它的“特征”就越強，或者說顯性，而短軸自然就成了隐性特征），是以，通過特征向量/值可以完全描述某一幾何空間這一特點，使得特征向量與特征值在幾何（特别是空間幾何）及其應用中得以發揮。

       關于特征向量（特别是特征值）的應用實在是太多太多，近的比如俺曾經提到過的PCA方法，選取特征值最高的k個特征向量來表示一個矩陣，進而達到降維分析+特征顯示的方法；近的比如Google公司的成名作PageRank，也是通過計算一個用矩陣表示的圖（這個圖代表了整個Web各個網頁“節點”之間的關聯）的特征向量來對每一個節點打“特征值”分；再比如很多人臉識别，資料流模式挖掘分析等方面，都有應用，有興趣的兄弟可以參考IBM的Spiros在VLDB‘ 05，SIGMOD ’06上的幾篇文章。

特征向量不僅在數學上，在實體，材料，力學等方面（應力、應變張量）都能一展拳腳，有老美曾在一本線代書裡這樣說過“有振動的地方就有特征值和特征向量”，确實令人肅然起敬+毛骨悚然......

PS...... Other talks:

了解矩陣（by 孟岩）

線性變換與特征向量

LAS 3-EigenVectors and Eigenvalues

轉自知乎：

Rex，崇尚技術，追求藝術。

vita、hydqy、知乎使用者  等人贊同 從定義出發，Ax=cx：A為矩陣，c為特征值，x為特征向量。

矩陣A乘以x表示，對向量x進行一次轉換（旋轉或拉伸）（是一種線性轉換），而該轉換的效果為常數c乘以向量x（即隻進行拉伸）。

我們通常求特征值和特征向量即為求出該矩陣能使哪些向量（當然是特征向量）隻發生拉伸，使其發生拉伸的程度如何（特征值大小）。這樣做的意義在于，看清一個矩陣在那些方面能産生最大的效果（power），并根據所産生的每個特征向量（一般研究特征值最大的那幾個）進行分類讨論與研究。

PageRank算法與特征向量和特征值(eigenvector和eigenvalue)

學習PageRank算法，必先了解特征值與特征向量