其中
為第i組資料的independent variable，
為第i組資料的dependent variable，
為系數向量。
最小二乘法，如上所示。
可能有人感覺直接對求偏導比較友善。但是我們根據normal equation 可以得知
θ=
,這時的計算量很大，同時注意此時矩陣也很大（求逆也計算也不小）。
此時使用梯度下降法或者梯度上升法我們僅僅把數字輸入，進行簡單的計算即可。
同時θ的變化很小時，我們可以自動終止。
如果需要更詳細的資料建議:http://www.zhihu.com/question/20822481,其中前兩個答案聯合解釋的比較清晰。