文章目錄
- 2.9 正則化線性模型
-
- 學習目标
- 1 Ridge Regression (嶺回歸，又名 Tikhonov regularization)
- 2 Lasso Regression(Lasso 回歸)
- 3 Elastic Net (彈性網絡)
- 4 Early Stopping [了解]
- 5 小結
2.9 正則化線性模型
學習目标
- 知道正則化中嶺回歸的線性模型
- 知道正則化中lasso回歸的線性模型
- 知道正則化中彈性網絡的線性模型
- 了解正則化中early stopping的線性模型
- Ridge Regression 嶺回歸
- Lasso 回歸
- Elastic Net 彈性網絡
- Early stopping
1 Ridge Regression (嶺回歸，又名 Tikhonov regularization)
嶺回歸是線性回歸的正則化版本，即在原來的線性回歸的 cost function 中添加正則項（regularization term）:
以達到在拟合資料的同時，使模型權重盡可能小的目的,嶺回歸代價函數:
- α=0：嶺回歸退化為線性回歸
2 Lasso Regression(Lasso 回歸)
Lasso 回歸是線性回歸的另一種正則化版本，正則項為權值向量的ℓ1範數。
Lasso回歸的代價函數 ：
【注意 】
- Lasso Regression 的代價函數在 θi=0處是不可導的.
- 解決方法：在θi=0處用一個次梯度向量(subgradient vector)代替梯度，如下式
- Lasso Regression 的次梯度向量
Lasso Regression 有一個很重要的性質是：傾向于完全消除不重要的權重。
例如：當α 取值相對較大時，高階多項式退化為二次甚至是線性：高階多項式特征的權重被置為0。
也就是說，Lasso Regression 能夠自動進行特征選擇，并輸出一個稀疏模型（隻有少數特征的權重是非零的）。
3 Elastic Net (彈性網絡)
彈性網絡在嶺回歸和Lasso回歸中進行了折中，通過 混合比(mix ratio) r 進行控制：
- r=0：彈性網絡變為嶺回歸
- r=1：彈性網絡便為Lasso回歸
彈性網絡的代價函數 ：
一般來說，我們應避免使用樸素線性回歸，而應對模型進行一定的正則化處理，那如何選擇正則化方法呢？
小結：
- 常用：嶺回歸
- 假設隻有少部分特征是有用的：
- 彈性網絡
- Lasso
- 一般來說，彈性網絡的使用更為廣泛。因為在特征次元高于訓練樣本數，或者特征是強相關的情況下，Lasso回歸的表現不太穩定。
- api:
-
from sklearn.linear_model import Ridge, ElasticNet, Lasso
-
4 Early Stopping [了解]
Early Stopping 也是正則化疊代學習的方法之一。
其做法為：在驗證錯誤率達到最小值的時候停止訓練。
5 小結
- Ridge Regression 嶺回歸
- 就是把系數添加平方項
- 然後限制系數值的大小
- α值越小，系數值越大，α越大，系數值越小
- Lasso 回歸
- 對系數值進行絕對值處理
- 由于絕對值在頂點處不可導，是以進行計算的過程中産生很多0，最後得到結果為：稀疏矩陣
- Elastic Net 彈性網絡
- 是前兩個内容的綜合
- 設定了一個r,如果r=0–嶺回歸；r=1–Lasso回歸
- Early stopping
- 通過限制錯誤率的門檻值，進行停止