天天看點

為什麼使用梯度下降法或者梯度上升法

為什麼使用梯度下降法或者梯度上升法

其中

為什麼使用梯度下降法或者梯度上升法

為第i組資料的independent variable,

為什麼使用梯度下降法或者梯度上升法

為第i組資料的dependent variable,

為什麼使用梯度下降法或者梯度上升法

為系數向量。

最小二乘法,如上所示。

可能有人感覺直接對求偏導比較友善。但是我們根據normal equation 可以得知

θ= 

為什麼使用梯度下降法或者梯度上升法

,這時的計算量很大,同時注意此時矩陣也很大(求逆也計算也不小)。

此時使用梯度下降法或者梯度上升法我們僅僅把數字輸入,進行簡單的計算即可。

同時θ的變化很小時,我們可以自動終止。

如果需要更詳細的資料建議:http://www.zhihu.com/question/20822481,其中前兩個答案聯合解釋的比較清晰。

繼續閱讀