因子分析 是将 多個 實測變量轉換為 少數 幾個 不相關 的綜合名額的多元統計方法，它通過研究衆多變量之間的内部依賴關系，探求觀測資料中的基本結構，并用少數幾個假想變量來表示其基本的資料結構。假想變量是不可觀測的潛在變量，稱為因子。 作用： 1. 降維 2. 當樣本數＜特征數時，無法用梯度下降法和多元高斯分布進行拟合，可以利用因子分析降維進而完成任務 資料處理： 因子分析前，需要對資料進行歸一化處理 定義：
滿足以下幾個條件：
- m可以自行設定
- m≤p，即公共因子個數不超過原變量個數（不然起不到降維的作用）
- 公共因子之間互不相關，且每個Fi方差為1，均值為0，即cov(F)=I, E(F)=0
- 公共因子和特殊因子之間彼此互不相關，即Cov(F,ε)=0
- 特殊因子之間彼此互不相關，但方差不一定相同，記為D
參數估計方法 1. 主成分法（常用的方法） 下面對參數進行估計，假設樣本沒有進行歸一化：（其實歸一化之後，推導過程是一樣的）
Var(X)是X的協方差矩陣，是一個對角矩陣，對角矩陣有如下性質：
進一步，對角矩陣可以表示為：
是以，近似認為：
又因為：
是以：