一，線性模型描述
簡單線性回歸如：
y= ax+b
對于多變量的情形
通常，通過機器學習訓練模型計算的值和真實值可能存在一定的誤差：
是以，我們使用最大似然估計就可以得到損失函數：
利用高斯的對數似然化簡：
緻此，我們就得到了損失函數。
通常，我們想要使我們的目标函數值最小，這樣我們模型預測的值就更加精确。
二，梯度下降和最小二乘法
1.最小二乘法：
在目标函數的導數為零的點為極值點，
得到：
2.梯度下降：
梯度下降又分為批量梯度下降和随機梯度下降，二者的差別在于，批量梯度下降是對全樣本量的疊代，而随機梯度下降是單個樣本下降疊代。
三，線性回歸過拟合和正則項
在我們的模型訓練過程中，可能存在在模型訓練時産生的效果很好，但在應用中可能得不到我們想法的效果，可能存在模型過拟合的情況，為了避免過拟合的發生，我們在目标函數中添加一個正則項。
通常，我們有多種拟合方式，以下列舉3種，
第三種則集中了前兩者的優點。
參考：
鄒博：機器學習ppt