ols残差_高级计量经济学学习要点（三）：OLS

我们的PhD level高级计量经济学I回归分析部分参考的教材是Hayashi (2001)[1]。课堂上主要介绍了两个部分：OLS回归（finite sample下的OLS、large sample下的OLS），和IV方法。这篇文章将主要分享OLS、GLS、大样本下的OLS性质等相关内容。

最小二乘法

OLS的目标是，为了确定y和x的线性关系，需要找到一个估计量

，使得估计误差

最小。为了求解该式，我们使用矩阵求导的方法。一阶条件为：

由此可以推出beta的表达式：

1.若要让beta的估计值唯一，我们需要一些假设条件

• 

  ，其中T是观测值数量，k是回归元数量。另外，X'X或X需要满秩k，即没有多重共线性。

一个不满足满秩的例子：

2.OLS估计有如下性质

• 

  。这其实可以从（2）式里的一阶条件直接得到。

• 

  。

3.拟合优度

估计拟合优度时，我们一般不使用误差的平方，以避免y的尺度对拟合优度的影响。相反，我们使用如下两种手段：

• uncentered R square

  

其中

。这就很好的将拟合优度限制在[0，1]之间。

• centered R square

  

值得注意的是，要让centered R方取值落在[0，1]之间，必须限定回归中含有constant。原因如下：

根据定义，有

。而如果回归中有constant，必有

，必有

。另外，

。

但两种R方有一个很重要的问题：二者都随着回归元数量的增加而上升。证明如下：

根据定义，

假设新增回归元z。我们有

.

由于gamma是使得不等式右侧的误差项最小的OLS估计量，因此不等式左侧必定大于或等于右侧，不等式必然成立，即随着回归元的增加，

因此可以采用调整R方：

。

4.有限样本下的性质

我们有如下假设：

• 假设（一）（强外生性）

  

  

  相互独立且

  

这一假设也可以表述为

• 假设（二）（球面误差方差）

  

  

  相互独立且

  

同样的，

和

那么OLS有如下性质：

• 无偏性

那么

。

从上述证明可以看出，对于有限样本，无偏性的成立需要假设（一）。

(note: please be notified about the difference between

and

)

• 高斯马尔科夫理论：

  

  是

  

  的BLUE估计（best linear unbiased estimator）

其中，best指的是方差最小化。即对于任何非

的线性无偏估计量

,有

半正定。

展开

，根据假设（二）可得

。

展开

，根据假设（一）（二）可得

。

根据

的无偏性，可以证明的是

,那么

有：

4.1.有了假设（一）（二）和从假设（一）（二）中得到的各种性质，我们能对

的取值做如下的假设检验。

• t test

通过

和

可得：

qj是X'X的第jj个元素。

由于

未知，可以通过如下公式估计：

而要成为一个好的统计量，

需要满足一些特殊性质

4.1.1 s2的无偏性：

首先根据OLS的无偏性，我们可以得到

把中间的矩阵命名为M。我们有

那么:

其中tr(M)=T-k.

因为beta服从正态分布，s2服从卡方分布，可知

。

例（四）1、当某一个变量的单位扩大a倍时，OLS回归的beta、beta的std和整个回归的R方将如何改变？

设矩阵X的第i列扩大了a倍。定义一个对角矩阵

，所有元素与单位矩阵相同，除了第ii个元素是a。那么

是将X的i列扩大a倍的新矩阵。新的beta可以表述为：

,即将原beta矩阵的第i项乘以1/a。

beta的标准差为

中的

可以展开为

，显然M不受P的影响，因此beta的标准差除第i个变量外不变，仅有第i个变量的beta的标准差变为原来的

.

y的观测值不会受到x的影响，y的估计值X(X'X)-1X'y不变，因此R方不变。

• F test

若有原假设为

如

,

，假设的是b2=b3和b4=0.

则有

服从卡方分布。

若用s代替sigma，

服从自由度为m和T-k的F 分布。

F也可以改写为

,SSRR是添加了Rb=r约束的回归的SSR，SSRU则是无约束回归。

从约束回归的角度推F统计量：

添加Rb=r约束后，求解约束下的beta值

，实际上是求解

Rb=r约束下的OLS问题的拉格朗日方程式

F.O.C:

。此处

指的是约束下的beta值的估计值。无约束的OLS估计用b表示。

求解步骤为：

其中SSRR的计算为

，不加约束的SSRU的计算则为

.可以证明SSRR-SSRU=

GLS 估计

假设（二）中的球形误差方差往往对经济学而言过强。事实上，

不一定和

相互独立，且不一定同方差。假设我们有

其中V(X)是已知的正定矩阵，并假设

.对原回归方程中的y，x，残差项都乘以P-1，那么有GLS估计量:

大样本性质

我们对OLS的统计推断是基于对残差项的正态分布的假设。在此基础上，我们可以将t统计量和F统计量作为临界值，判断beta值的分布是否符合原假设。然而，如果正态分布假设不再成立，我们将需要大样本性质来进行统计推断。

1.一致性

用样本均值的形式表达OLS估计量

根据大数定律，前者概率收敛于

，后者概率收敛于

。

需要注意的是，若要满足大数定律，x要独立同分布，或者满足stationary+ergodic。

2.渐进正态

进一步改写OLS估计量为

前者概率收敛于

，根据中心极限定理，后者分布收敛于N(0,

).

中心极限定理的满足需要iid条件，或者stationary+ergodic+m.d.s。

整个式子分布收敛于N(0,

)。

3.统计推断

• t test

有了OLS的分布函数，就可以对OLS估计量进行统计推断。对于正态分布的方差，我们可以用

来估计

，而用

来估计

。

另外，如果同方差性得到满足，我们有

。

• Wald Test

其中

,其估计值可由t test中同样方法得到。

与F检验的异同：（1）服从卡分布而非F分布；（2）

在大样本时趋近于1.

OLS的部分复习完啦！完结撒花！

参考

1. ^Econometrics, Fumio Hayashi, Princeton University Press, 2001.