天天看點

三分鐘了解線性拟合—最小二乘法

作者:volcano99

在學習最小二乘法之前,我們首先需要了解二進制函數求極值的方法,類似于一進制函數,但更為複雜。

設z=f(x,y),z在某區域内有二階連續偏導數,利用下式:

三分鐘了解線性拟合—最小二乘法

求出函數z=f(x,y)在此區域的駐點(x0,y0)。

在駐點處求出

三分鐘了解線性拟合—最小二乘法
三分鐘了解線性拟合—最小二乘法

下面正式開始學習最小二乘法。經驗告訴我們,變量x與y成線性關系,即y=kx+b(k,b為常數)k,b為待定的參數,現經過測量得到n組資料(xi,yi),其中i=1,2,3…,求與實驗資料最接近的函數關系(直線)y=kx+b。怎麼表示“接近度”,我們用式子

三分鐘了解線性拟合—最小二乘法

來表示,這樣做的好處是消除了負值的影響,便于我們找到最小值。

根據上述思路,用數學表達即為:尋找k,b使得

三分鐘了解線性拟合—最小二乘法

其中z=z(k,b),(k,b)屬于實數集,z為一個二次函數。為了找到最小值,分别求函數z對k和b的偏導數。如下式:

三分鐘了解線性拟合—最小二乘法

再分别令上述偏導數等于0,得:

三分鐘了解線性拟合—最小二乘法

根據上面式子直線y=kx+b一定過平均值點(x',y')。

三分鐘了解線性拟合—最小二乘法

在定義域的邊界上,(k,b)→(∞,∞)時,z→+∞,是以上述駐點處z(k,b)極小,最小。

注:上述過程稱為線性拟合過程,所用的方法稱為“最小二乘法”。直線過平均值點(x',y'),是以隻需求出直線斜率k,直線寫成點斜式即可。

即:

三分鐘了解線性拟合—最小二乘法

繼續閱讀