在學習最小二乘法之前，我們首先需要了解二進制函數求極值的方法，類似于一進制函數，但更為複雜。
設z=f(x,y)，z在某區域内有二階連續偏導數，利用下式：
求出函數z=f(x,y)在此區域的駐點(x0,y0)。
在駐點處求出
下面正式開始學習最小二乘法。經驗告訴我們，變量x與y成線性關系，即y=kx+b(k,b為常數)k,b為待定的參數，現經過測量得到n組資料(xi，yi)，其中i=1,2,3…，求與實驗資料最接近的函數關系(直線)y=kx+b。怎麼表示“接近度”，我們用式子
來表示，這樣做的好處是消除了負值的影響，便于我們找到最小值。
根據上述思路，用數學表達即為：尋找k,b使得
其中z=z(k,b),(k,b)屬于實數集，z為一個二次函數。為了找到最小值，分别求函數z對k和b的偏導數。如下式：
再分别令上述偏導數等于0，得：
根據上面式子直線y=kx+b一定過平均值點(x',y')。
在定義域的邊界上，(k,b)→(∞,∞)時，z→+∞，是以上述駐點處z(k,b)極小，最小。
注：上述過程稱為線性拟合過程，所用的方法稱為“最小二乘法”。直線過平均值點(x',y'),是以隻需求出直線斜率k，直線寫成點斜式即可。
即：