評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 開篇引入：線上性回歸模型（一）中的讨論中，我們探讨了線性回歸模型的基本假設還有相關的推導方法。但是，線上性回歸模型中，是不是每一個變量都對我們的模型有用呢？還是我們需要一個更加優秀的模型呢？下面我們來探讨線性回歸的模型選擇吧！ 1 子集選擇(subset selection) 當我們初步建立的模型中，如果p個預測變量裡面存在一些不相關的預測變量，那麼我們應該從中間選擇一個比較好的預測變量的子集去重新拟合模型，使我們模型的
預測能力 和
解釋能力 都能得到提高。
評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 3.1.4 向前逐漸(Forward-Stagewise )回歸
評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 2壓縮估計(Shrinkage Methods) 通過保留一部分預測變量而丢棄剩餘的變量，
子集選擇 (subset selection) 可得到一個可解釋的、預測誤差可能比全模型低的模型．然而，因為這是一個離散的過程（變量不是保留就是丢棄），是以經常表現為高方差，是以不會降低全模型的預測誤差．而
壓縮估計 (shrinkage methods) 更加連續，是以不會受
高易變性 (high variability) 太大的影響．
評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） LARS可以作為Lasso的快速求解版本：如果一個非零的系數達到0，則從變量的活躍集中删除該變量并且重新計算目前的聯合最小二乘方向． 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 我們來對比下之前學過的子集選擇方法跟我們的壓縮估計在結果上有什麼差別：
評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 3降維方法(Dimension Reduction Methods) 3.3.1 主成分回歸(PCL)
在前面兩節我們讨論的都是在原資料上對某些變量集合的子集進行篩選的，主成分分析是一種将原變量做線性組合輸出一系列不相關的其他變量，進而使用最小二乘估計。
評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 3.3.2 偏最小二乘回歸(PLS) 由于主成分回歸在降維的過程中隻用到了自變量的某些資訊，沒有展現自變量與因變量上的某些關系，是以偏最小二乘回歸就是為了解決這個問題。
評價最小二乘法回歸模型的優劣用什麼方法?_線性回歸模型（二） 偏最小二乘法不僅将響應矩陣進行分解提取主因子，也将濃度矩陣進行分解提取主因子。此外，在建立校正模型時，不是簡單的将兩個矩陣作主成分分解，而是在将X分解得分矩陣時引入有關Y的得分矩陣的資訊，在将Y分解得分矩陣時引入有關X的得分矩陣的資訊，這樣可以保證X，Y的得分矩陣之間具有良好的線性關系。
今天的線性回歸模型（二）分享分享到這裡啦，接下來的章節中，我們還會給大家介紹如何評價線性回歸模型好壞的殘差分析。大家下期再見！！ 
