降維原理篇之手推PCA（主成分分析）和LDA（線性判别分析）公式

PCA和LDA求解過程雖然有着很大的相似性，但對應的原理卻有所差別：

PCA選擇的是投影後資料方差最大的方向。由于它是無監督的，是以PCA假設方差越大，資訊量越多，用主成分來表示原始資料可以去除備援的次元，達到降維。而LDA選擇的是投影後類内方差小、類間方差大的方向。其用到了類别标簽資訊，為了找到資料中具有判别性的次元，使得原始資料在這些方向上投影後，不同類别盡可能區分開。