天天看點

機器學習----線性回歸模型

一,線性模型描述

機器學習----線性回歸模型

簡單線性回歸如:

y= ax+b

機器學習----線性回歸模型

對于多變量的情形

機器學習----線性回歸模型

通常,通過機器學習訓練模型計算的值和真實值可能存在一定的誤差:

機器學習----線性回歸模型
機器學習----線性回歸模型

是以,我們使用最大似然估計就可以得到損失函數:

機器學習----線性回歸模型

利用高斯的對數似然化簡:

機器學習----線性回歸模型

緻此,我們就得到了損失函數。

通常,我們想要使我們的目标函數值最小,這樣我們模型預測的值就更加精确。

二,梯度下降和最小二乘法

1.最小二乘法:

在目标函數的導數為零的點為極值點,

機器學習----線性回歸模型

得到:

機器學習----線性回歸模型

2.梯度下降:

梯度下降又分為批量梯度下降和随機梯度下降,二者的差別在于,批量梯度下降是對全樣本量的疊代,而随機梯度下降是單個樣本下降疊代。

機器學習----線性回歸模型

三,線性回歸過拟合和正則項

在我們的模型訓練過程中,可能存在在模型訓練時産生的效果很好,但在應用中可能得不到我們想法的效果,可能存在模型過拟合的情況,為了避免過拟合的發生,我們在目标函數中添加一個正則項。

通常,我們有多種拟合方式,以下列舉3種,

機器學習----線性回歸模型
機器學習----線性回歸模型

第三種則集中了前兩者的優點。

參考:

鄒博:機器學習ppt

繼續閱讀