普通最小二乘法

文章目录

• ​​什么是普通最小二乘法​​
• ​​如何推导OLS​​

• ​​正规方程​​
• ​​梯度下降法​​

什么是普通最小二乘法

普通最小二乘法（Ordinary Least Squares，OLS），是一种线性最小二乘法，用于估计线性回归模型中的未知参数。

通俗解释：

最小，即最小化；

二乘，即真实的观测的因变量的值与预测的因变量的值的差的平方和，

直观上来看，就是要使得 「集合中每个数据点和回归曲面上对应预测的点的距离的平方的和」 达到最小，这样模型对数据才拟合得最好。

如下图所示，其中 为数据点，要最小化的就是 「红色线段的长度的平方的和」

如何推导OLS

一般标记：

线性回归的一般形式： 　　　　

令 ，，需要极小化的代价函数是：

​​损失函数、代价函数和目标函数的区别​​

正规方程

推导过程：

其中：

将向量表达形式转为矩阵表达形式，则有

其中为行列的矩阵（为样本个数，为特征个数），为行1列的矩阵，为行1列的矩阵，对进行如下变换

​

​

接下来对偏导，需要用到以下几个矩阵的求导法则:

所以有:

​

令,

则有

梯度下降法

梯度下降法的具体知识点请看​​这里​​

1、 批量梯度下降

一般形式：

当n>=1时，

矩阵形式：

其中为步长。

2、随机梯度下降

3、 小批量梯度下降