天天看點

機器學習之——歸一化線性回歸與歸一化邏輯回歸

之前的部落格裡,跟大家分享了歸一化(regularization)的概念:保留所有的特征,但是減小參數的大小(magnitude)。

這一次捏,跟大家讨論讨論,歸一化線性回歸模型和歸一化邏輯回歸模型。

首先跟大家明确一件事,為什麼有些機器學習的模型需要用到歸一化這個方法呢?答案有兩條:

歸一化能夠加快梯度下降的步伐,也就是獲得最優解的速度

歸一化能夠送出模型的精度

具體的分析我們可以後續來讨論,這裡就不贅述了。

歸一化線性回歸模型(regularized linear regression)

我們之前讨論過,歸一化代價函數。線性回歸的代價函數和歸一化代價函數的表達式是一樣的:

機器學習之——歸一化線性回歸與歸一化邏輯回歸

如果我們使用梯度下降算法使得這個代價函數最小,那麼我們得到的梯度下降算法将表現為以下形式:(我們未對ø0進行歸一化)

機器學習之——歸一化線性回歸與歸一化邏輯回歸

對于上面的算法,j=1,2,3,...,n 時,更新的表達式可以進行調整得到:

機器學習之——歸一化線性回歸與歸一化邏輯回歸

可以看出來,歸一化線性回歸的梯度下降算法與之前的變化在于,每次在原有算法更新規則的基礎之上都令ø的值減少了一個額外的值。

同樣的,如果利用正規方程(normal equation)來求解歸一化線性回歸模型,表達式如下:

機器學習之——歸一化線性回歸與歸一化邏輯回歸

表達式中,矩陣的大小為n+1*n+1

歸一化邏輯回歸模型(regularized logistic regression)

同樣的,對于邏輯回歸模型,我們也給代價函數增加一個歸一化的表達式,便得到了如下的表達式:

機器學習之——歸一化線性回歸與歸一化邏輯回歸

要得到這個代價函數的最小值,通過求導,得到的梯度下降算法表達式如下:

機器學習之——歸一化線性回歸與歸一化邏輯回歸

注:隻是看上去和線性回歸一樣,但是這裡面的假設函數 

機器學習之——歸一化線性回歸與歸一化邏輯回歸

 ,是以與線性回歸是不同的。

以上,便是歸一化兩個回歸模型的内容了。至此,我們學習到的機器學習中回歸模型的相關内容基本都涉及到了。下面将會讨論機器學習中重要的一個算法——神經網絡(neural network)。

繼續閱讀