機器學習算法從入門到精通——線性回歸算法

線性回歸算法

• ​​線性回歸算法​​

• ​​線性回歸分類​​

• ​​單變量回歸​​
• ​​多變量回歸​​

• ​​求拟合方程方法​​

• ​​最小二乘法​​
• ​​嶺回歸​​
• ​​Lasso回歸​​

線性回歸算法

線性回歸分類

單變量回歸

單變量線性回歸的模型：

我們需要使用到Cost Function（代價函數），代價函數越小，說明線性回歸地越好（和訓練集拟合地越好），當然最小就是0，即完全拟合。

多變量回歸

多變量線性回歸之前必須要Feature Scaling。思想：将各個feature的值标準化，使得取值範圍大緻都在-1<=x<=1之間。

定義出多變量線性回歸的模型：

求拟合方程方法

最小二乘法

“最小二乘法”的核心就是保證所有資料偏差的平方和最小。（“平方”的在古時侯的稱謂為“二乘”）。

嶺回歸

• 預測精度: 這裡要處理好這樣一對問題, 即樣本的數量 和特征的數量

  。 時, 最小二乘法回歸會有較小的方差

  。 時, 容易産生過拟合

  。 時, 最小二乘回歸得不到有意義的結果

  嶺回歸(Ridge Regression)是在平方誤差的基礎上增加正則項。通過确定 lamda 的值 可以使得在方差和偏差之間達到平衡。效果如同添加L2正則化。

• 嶺回歸優于最小二乘回歸的原因在于方差-偏倚選擇。随着 lambda 的增大, 模型方差 減小而偏倚 (輕微的) 增加。
• 嶺回歸的一個缺點: 在模組化時, 同時引入 個預測變量, 罰限制項可以收縮這些預測 變量的待估系數接近 0 ,但并非恰好是
• 懲罰項系數的選擇一直都是一個頭疼的問題。

Lasso回歸