天天看點

吳恩達機器學習筆記2-單變量線性回歸

線性回歸算法(用直線來拟合資料)

h0(x)=θ0+θ1*x,要想h0(預測值)接近y(實際值),也就是使得預測值和實際值的平方誤差和最小,可用平方代價誤差函數來解決。

吳恩達機器學習筆記2-單變量線性回歸

平方代價誤差函數說明:平方是為了保證正值,二分之一m的目的是求導(計算變化率)後消掉系數。(假設h,參數θ,代價函數J,優化目标)

吳恩達機器學習筆記2-單變量線性回歸

如何進行機器學習?如何确定θ(0),θ(1)?此處測試資料集有(1,1),(2,2),(3,3)三個點。分别對θ(0),θ(1)取不同的值,調用平方代價誤差函數,計算出目标值,找到最小的目标值,學習完畢。

吳恩達機器學習筆記2-單變量線性回歸

梯度下降算法:找到局部最優解。

我們爬山的時候,想要找到一條最短的下山山路。可以發現,站在不同位置找的路是不一樣的。

吳恩達機器學習筆記2-單變量線性回歸

梯度下降算法:

‘’:=‘’表示指派,α是一個數字,被稱為學習速率(步長)。如下山的時候,我們邁出的步子很大,α就很大,否則α就很小。

此公式的意義是:我們處在θj點,要走到J的最小值點,然後走一段距離步長,達到另一個θj方向。梯度乘一個負号是因為朝着梯度(微分,代表着某個給定切點的斜率)的反方向前進。

吳恩達機器學習筆記2-單變量線性回歸

導數相當于斜率,當斜率為正數時,θ1減小,反之,θ1增加。當斜率為負數時,θ1更大了。但導數為0,即斜率與x軸平行時,找到最低點。

α的如何取值呢?假如α過小,求梯度下降會很緩慢,慢慢慢慢到達最低點。如果α過大,可能無法收斂。因為它很可能邁一大步後斜率從負變成正,經過計算又到達負,依次類推。α取值不宜過大過小。

吳恩達機器學習筆記2-單變量線性回歸

應用于線性回歸的的梯度下降算法

繼續閱讀