普通最小二乘法

文章目錄

• ​​什麼是普通最小二乘法​​
• ​​如何推導OLS​​

• ​​正規方程​​
• ​​梯度下降法​​

什麼是普通最小二乘法

普通最小二乘法（Ordinary Least Squares，OLS），是一種線性最小二乘法，用于估計線性回歸模型中的未知參數。

通俗解釋：

最小，即最小化；

二乘，即真實的觀測的因變量的值與預測的因變量的值的差的平方和，

直覺上來看，就是要使得 「集合中每個資料點和回歸曲面上對應預測的點的距離的平方的和」 達到最小，這樣模型對資料才拟合得最好。

如下圖所示，其中 為資料點，要最小化的就是 「紅色線段的長度的平方的和」

如何推導OLS

一般标記：

線性回歸的一般形式： 　　　　

令 ，，需要極小化的代價函數是：

​​損失函數、代價函數和目标函數的差別​​

正規方程

推導過程：

其中：

将向量表達形式轉為矩陣表達形式，則有

其中為行列的矩陣（為樣本個數，為特征個數），為行1列的矩陣，為行1列的矩陣，對進行如下變換

​

​

接下來對偏導，需要用到以下幾個矩陣的求導法則:

是以有:

​

令,

則有

梯度下降法

梯度下降法的具體知識點請看​​這裡​​

1、 批量梯度下降

一般形式：

當n>=1時，

矩陣形式：

其中為步長。

2、随機梯度下降

3、 小批量梯度下降