天天看點

吳恩達《機器學習》課程總結(2)單變量線性回歸

2.1模型表示

(1)監督學習中的回歸問題案例房價預測

吳恩達《機器學習》課程總結(2)單變量線性回歸

(2)監督算法的工作方式

案例中:m表示訓練集的數量,x代表特征/輸入變量,y代表目标變量/輸出變量,(x,y)代表執行個體,(x(i),y(i))代表第i個觀察執行個體,h代表假設/函數/輸入到輸出的映射。

(3)房價預測的一種表達方式:h(Θ)=Θ0+Θ1x,隻有一個變量,是以成為當變量線性回歸問題。

2.2代價函數

(1)對于回歸問題常用的代價函數是平方誤差代價函數:

吳恩達《機器學習》課程總結(2)單變量線性回歸

我們的目标選取合适的參數Θ使得誤差函數最小,即直線最逼近真實情況。

2.3代價函數的直覺了解I

吳恩達《機器學習》課程總結(2)單變量線性回歸

2.4代價函數的直覺了解II

吳恩達《機器學習》課程總結(2)單變量線性回歸

2.5梯度下降

吳恩達《機器學習》課程總結(2)單變量線性回歸

需要注意:參數是要同時更新的;不要算出一個倒數更新一個倒數,再用更新後的式子去計算其他倒數,這樣是不對的。

其中α叫學習率,表示沿着下降程度最大的方向邁出的步子大小。

2.6梯度下降的直覺了解

(1)梯度下降法可以最小化任何代價函數,而不僅僅局限于線性回歸中的代價函數。

(2)當越來越靠近局部最小值時,梯度值會變小,是以即使學習率不變,參數變化的幅度也會随之減小。

吳恩達《機器學習》課程總結(2)單變量線性回歸

(3)學習率過小時參數變化慢,到達最優點的時間長,學習率大時,可能導緻代價函數無法收斂,甚至發散。

(4)梯度就是某一點的斜率。

吳恩達《機器學習》課程總結(2)單變量線性回歸

2.7梯度下降的線性回歸 

吳恩達《機器學習》課程總結(2)單變量線性回歸

繼續閱讀