在學習最小二乘法之前,我們首先需要了解二進制函數求極值的方法,類似于一進制函數,但更為複雜。
設z=f(x,y),z在某區域内有二階連續偏導數,利用下式:
求出函數z=f(x,y)在此區域的駐點(x0,y0)。
在駐點處求出
下面正式開始學習最小二乘法。經驗告訴我們,變量x與y成線性關系,即y=kx+b(k,b為常數)k,b為待定的參數,現經過測量得到n組資料(xi,yi),其中i=1,2,3…,求與實驗資料最接近的函數關系(直線)y=kx+b。怎麼表示“接近度”,我們用式子
來表示,這樣做的好處是消除了負值的影響,便于我們找到最小值。
根據上述思路,用數學表達即為:尋找k,b使得
其中z=z(k,b),(k,b)屬于實數集,z為一個二次函數。為了找到最小值,分别求函數z對k和b的偏導數。如下式:
再分别令上述偏導數等于0,得:
根據上面式子直線y=kx+b一定過平均值點(x',y')。
在定義域的邊界上,(k,b)→(∞,∞)時,z→+∞,是以上述駐點處z(k,b)極小,最小。
注:上述過程稱為線性拟合過程,所用的方法稱為“最小二乘法”。直線過平均值點(x',y'),是以隻需求出直線斜率k,直線寫成點斜式即可。
即: