CS229機器學習個人筆記（3）——Logistic Regression+Regularization

1.Classification

Logistic Regression其實就是Classification，但是由于曆史原因名字被記作了邏輯回歸。它與線性回歸的差別在于 hθ(x) 被限制在了0與1之間，這是通過下面的S函數（Sigmoid function）實作的： g(z)=11+e−z

其中： z=θTx

此時我們的假設函數 hθ(x)=g(θtx)=11+e−θTx

2.Cost Function

線性回歸中的損失函數是：

J(θ0,θ1…θn)=12m∑i=1m(hθ(x(i))−y(i)))2

其中： hθ(x)=θ0+x1θ1+x2θ2+⋯+xnθn

線性回歸損失函數有很明顯的實際意義，就是平方損失。而邏輯回歸卻不是，它的預測函數 hθ(x) 明顯是非線性的，如果類比的使用線性回歸的損失函數于邏輯回歸，那 J(θ) 很有可能就是非凸函數，即存在很多局部最優解，但不一定是全局最優解。我們希望構造一個凸函數，也就是一個碗型函數做為邏輯回歸的損失函數。

注： 雖然得到的梯度下降算法表面上看上去與線性回歸的梯度下降算法一樣， 但是這裡的 hθ(x)=g(θTX) 與線性回歸中不同， 是以實際上是不一樣的。 另外， 在運作梯度下降算法之前，進行特征縮放依舊是非常必要的。

具體求導公式的推導：

3.Multiclass Classification-One-vs-all

4.Regularization

線性回歸中的Overfitting與Underfitting：

邏輯回歸中的Overfitting與Underfitting：

Overfitting：高偏差

Underfitting：高方差

下圖很直覺的展現出偏差與方差的差別：

怎麼來解決過拟合的問題？簡單來說造成過拟合是因為次數高的項存在，那麼隻要減小相應的系數 θ 就能避免過拟合。

對于線性回歸：

對于邏輯回歸：