之前的部落格裡,跟大家分享了歸一化(regularization)的概念:保留所有的特征,但是減小參數的大小(magnitude)。
這一次捏,跟大家讨論讨論,歸一化線性回歸模型和歸一化邏輯回歸模型。
首先跟大家明确一件事,為什麼有些機器學習的模型需要用到歸一化這個方法呢?答案有兩條:
歸一化能夠加快梯度下降的步伐,也就是獲得最優解的速度
歸一化能夠送出模型的精度
具體的分析我們可以後續來讨論,這裡就不贅述了。
歸一化線性回歸模型(regularized linear regression)
我們之前讨論過,歸一化代價函數。線性回歸的代價函數和歸一化代價函數的表達式是一樣的:
如果我們使用梯度下降算法使得這個代價函數最小,那麼我們得到的梯度下降算法将表現為以下形式:(我們未對ø0進行歸一化)
對于上面的算法,j=1,2,3,...,n 時,更新的表達式可以進行調整得到:
可以看出來,歸一化線性回歸的梯度下降算法與之前的變化在于,每次在原有算法更新規則的基礎之上都令ø的值減少了一個額外的值。
同樣的,如果利用正規方程(normal equation)來求解歸一化線性回歸模型,表達式如下:
表達式中,矩陣的大小為n+1*n+1
歸一化邏輯回歸模型(regularized logistic regression)
同樣的,對于邏輯回歸模型,我們也給代價函數增加一個歸一化的表達式,便得到了如下的表達式:
要得到這個代價函數的最小值,通過求導,得到的梯度下降算法表達式如下:
注:隻是看上去和線性回歸一樣,但是這裡面的假設函數
,是以與線性回歸是不同的。
以上,便是歸一化兩個回歸模型的内容了。至此,我們學習到的機器學習中回歸模型的相關内容基本都涉及到了。下面将會讨論機器學習中重要的一個算法——神經網絡(neural network)。