其中
为第i组数据的independent variable，
为第i组数据的dependent variable，
为系数向量。
最小二乘法，如上所示。
可能有人感觉直接对求偏导比较方便。但是我们根据normal equation 可以得知
θ=
,这时的计算量很大，同时注意此时矩阵也很大（求逆也计算也不小）。
此时使用梯度下降法或者梯度上升法我们仅仅把数字输入，进行简单的计算即可。
同时θ的变化很小时，我们可以自动终止。
如果需要更详细的资料建议:http://www.zhihu.com/question/20822481,其中前两个答案联合解释的比较清晰。