参考视频：可汗学院《统计学》
参考书籍：《深入浅出统计学》
文章目录
-
-
-
-
- 概念1:假设检验
- 概念2:单侧检验和双侧检验
- 概念3:Z-统计量和t-统计量
- 概念4:两类错误——I型错误和II型错误
- 概念5:小样本假设检验
- 概念6:大样本占比假设检验
- 概念7:随机变量之差的方差
- 概念8:样本均值差的分布
- 概念9:总体占比的分布
- 总结
-
-
-
概念1:假设检验
- 典型场景：验证某种新措施对问题是否有改善效果。
- 主要要素
- 原假设 H 0 H_0 H0，又称为零假设。
- 备择假设 H 1 H_1 H1或 H a H_a Ha。
:原假设和备择假设的构造是有学问的,要始终牢记——假设检验倾向于保守的原则，即原假设是保守的假设。注意
：一种新药即将上市，药监部门要检验其是否具有功效。那么在这一情境中比较保守的假设就是——这种新药功效没有达标，不能上市（应当作为例子
），而激进的假设就是这种新药功效达标，可以上市（应当作为原假设
）。备择假设
-
作用原理
（1）构造原假设和备择假设
（2）构建统计量
举例： Z = ∣ X ‾ − μ ∣ σ / n Z=\frac{|\overline{X}-\mu|}{\sigma/\sqrt{n}} Z=σ/n
∣X−μ∣
（3）判断是否拒绝原假设：p值法和临界值法
-
p值法
通过Z分数（也可能是其他统计量，如t分布，F分布等）找到处于拒绝域的概率（即p值），如果p值小于显著水平，说明很显著，有理由拒绝原假设接受备择假设，否则没有理由拒绝原假设（
注意
-
临界值法
根据显著水平确定拒绝域的区间端点，然后与Z分数（或其它统计量）比较。若Z分数处于该区间外面，则说明比较显著，有理由拒绝原假设接受备择假设；否则没有理由拒绝原假设（
注意
上述两种方法殊途同归，关键是思维的正向与逆向区别。
概念2:单侧检验和双侧检验
参考文献：统计基础之假设检验
-
单侧检验
例如： H 0 : μ ≤ 1.2 H 1 : μ > 1.2 H_0:\mu\le1.2\ \ \ \ \ \ H_1:\mu\gt1.2 H0:μ≤1.2 H1:μ>1.2
注意
:单侧检验又分为下侧检验（备择假设为 < \lt <）与上侧检验（备择假设为 > \gt >），二者的区别在于当计算出的统计量为负数的情况下，查表需要进行相应的变换，比如：对于如果Z分数为-2，则查表时对应的p值应该是： p = 1 − ϕ ( 2 ) = 0.0228 p=1-\phi(2)=0.0228 p=1−ϕ(2)=0.0228
因为p<0.05，所以结果显著，处于拒绝域，应当接受备择假设。
-
双侧检验
例如： H 0 : μ ≠ 1.2 H 1 : μ = 1.2 H_0:\mu\ne1.2\ \ \ \ \ \ H_1:\mu=1.2 H0:μ̸=1.2 H1:μ=1.2
注意
概念3:Z-统计量和t-统计量
此前我们举例时基本都是假设总体方差已知且样本数量足够大（通常是n>30），服从正态分布，实际上在小样本以及总体方差未知时样本均值的抽样分布都是服从t-分布。
-
Z-统计量
Z = X ‾ − μ σ / n Z=\frac{\overline{X}-\mu}{\sigma/\sqrt{n}} Z=σ/n
X−μ
-
t-统计量
t = X ‾ − μ S / n ( 自 由 度 为 n − 1 ) t=\frac{\overline{X}-\mu}{S/\sqrt{n}}(自由度为n-1) t=S/n
X−μ(自由度为n−1)
概念4:两类错误——I型错误和II型错误
- 两类错误
| H 0 为 真 H_0为真 H0为真 | H 0 为 假 H_0为假 H0为假 | |
|---|---|---|
| 接受原假设 | Ⅱ {\rm Ⅱ} Ⅱ型错误 | |
| 拒绝原假设 | Ⅰ {\rm Ⅰ} Ⅰ型错误 | 显著性水平 α \alpha α |
注意
概念5:小样本假设检验
- 小样本容量、总体标准差未知、控制 Ⅰ \rm Ⅰ Ⅰ型错误情况下的计算
-
假设检验
(1)构造原假设和备择假设
(2)基于原假设为真的前提，计算处于拒绝域的概率（控制该概率 < \lt <Ⅰ型错误概率），判断是否拒绝原假设。
-
区间估计
如果显著性水平是0.05，对于双侧检验，则要计算95%的数据所在的区间（关于样本均值对称，就样本均值的抽样分布而言，此外还有样本比例的抽样分布等）。仍然采用t-分布。
概念6:大样本占比假设检验
- 典型场景：要检验是否超过30%的美国家庭拥有互联网接入，显著性0.05。
-
检验过程
(1)构造假设
H 0 : p ≤ 30 % H 1 : p > 30 % H_0:p\le30\%\ \ \ H_1:p\gt30\% H0:p≤30% H1:p>30%
(2)构造统计量
这里样本占比服从伯努利分布，当 n p > 5 np>5 np>5且 n p ( 1 − p ) > 5 np(1-p)>5 np(1−p)>5时，可以近似为正态分布。统计量如下： Z = P ‾ − μ p ‾ σ μ 0 / n ∼ N ( 0 , 1 ) Z=\frac{\overline{P}-\mu_{\overline{p}}}{\sigma_{\mu_0}/\sqrt{n}}\sim{N(0,1)} Z=σμ0/n
P−μp∼N(0,1)其中 μ p ‾ \mu_{\overline{p}} μp表示样本比例的均值， σ μ 0 \sigma_{\mu_0} σμ0表示总体占比的标准差。
(3)根据统计量计算出的Z分数查表，找出p值；或采用临界值法找出拒绝域。
概念7:随机变量之差的方差
- 已知：两个独立的随机变量 X X X、 Y Y Y,则： E ( X ) = μ X , E ( Y ) = μ Y E(X)=\mu_X,E(Y)=\mu_Y E(X)=μX,E(Y)=μY V a r ( X ) = E ( ( X − μ X ) 2 ) = σ X 2 Var(X)=E((X-\mu_X)^2)=\sigma_{X}^2 Var(X)=E((X−μX)2)=σX2 V a r ( Y ) = E ( ( Y − μ Y ) 2 ) = σ Y 2 Var(Y)=E((Y-\mu_Y)^2)=\sigma_{Y}^2 Var(Y)=E((Y−μY)2)=σY2令 Z = X − Y Z=X-Y Z=X−Y，则可推出： { E ( Z ) = E ( X − Y ) = E ( X ) − E ( Y ) D ( Z ) = D ( X ) + D ( Y ) \begin{cases}E(Z)=E(X-Y)=E(X)-E(Y) \\ D(Z)=D(X)+D(Y)\end{cases} {E(Z)=E(X−Y)=E(X)−E(Y)D(Z)=D(X)+D(Y)
注意
概念8:样本均值差的分布
- 样本均值的抽样分布
统计学基础知识点刷题（task3） 从图中可以看出：样本均值的抽样分布比较瘦高，这是因为其标准差为 σ X / n \sigma_{X}/\sqrt{n} σX/n
，偏小。
-
样本均值差的分布
Z = X ‾ − Y ‾ ∼ N ( μ X ‾ − μ Y ‾ , σ X ‾ 2 + σ Y ‾ 2 ) Z=\overline{X}-\overline{Y}\sim{N(\mu_{\overline{X}}-\mu_{\overline{Y}},\sqrt{\sigma_{\overline{X}}^2+\sigma_{\overline{Y}}^2})} Z=X−Y∼N(μX−μY,σX2+σY2
)
-
样本均值差的置信区间
实际上就是利用样本均值差的分布对样本均值差进行区间估计。
-
样本均值差的假设检验
实际上就是利用样本均值差的分布构造统计量，并进行假设检验(只需要记住样本均值差的分布即可)。
概念9:总体占比的分布
1. 典型场景：如上图，要比较男性群体和女性群体在投票方面是否有显著的区别。此时需要考虑两样本占比之差的抽样分布。
2. 上图为样本占比均值的抽样分布：
P 1 ‾ ∼ N ( p 1 , p 1 ( 1 − p 1 ) 1000 ) \overline{P_1}\sim{N(p_1,\sqrt{\frac{p_1(1-p_1)}{1000}})} P1∼N(p1,1000p1(1−p1)
)
P 2 ‾ ∼ N ( p 2 , p 2 ( 1 − p 2 ) 1000 ) \overline{P_2}\sim{N(p_2,\sqrt{\frac{p_2(1-p_2)}{1000}})} P2∼N(p2,1000p2(1−p2)
)所以样本占比均值差的分布服从如下分布： P 1 ‾ − P 2 ‾ ∼ N ( p 1 − p 2 , p 1 ( 1 − p 1 ) 1000 + p 2 ( 1 − p 2 ) 1000 ) \overline{P_1}-\overline{P_2}\sim{N(p_1-p_2,\sqrt{\frac{p_1(1-p_1)}{1000}+\frac{p_2(1-p_2)}{1000}})} P1−P2∼N(p1−p2,1000p1(1−p1)+1000p2(1−p2)
)
后续进行区间估计、假设检验，时，只需要记住样本占比均值差的分布即可。
-
总体占比比较的假设检验
根据样本占比均值的抽样分布构造统计量进行假设检验即可。
总结
1.无论是总体均值差还是总体占比均值差，都有区间估计、假设检验，这是只需要记住样本均值的抽样分布以及样本占比均值的抽样分布即可。因为区间估计和假设检验都是套路，统计量满足的分布才是核心。
2.学习时有个关于假设检验中原假设和备择假设关系的讨论——原假设和备择假设是互补关系还是仅互斥关系就行？
：不一定要互补，互斥就可以。原假设只需满足两点条件即可：一是能够支撑统计量的构建；二是与备择假设互斥。话虽如此，现在很多书籍总结如下三类假设样式：个人见解
- H 0 : μ ≥ A H 1 : μ < A H_0:\mu\ge{A} \ \ H_1:\mu\lt{A} H0:μ≥A H1:μ<A
- H 0 : μ ≤ A H 1 : μ > A H_0:\mu\le{A} \ \ H_1:\mu\gt{A} H0:μ≤A H1:μ>A
H 0 : μ = A H 1 : μ ≠ A H_0:\mu={A} \ \ H_1:\mu\neq{A} H0:μ=A H1:μ̸=A
从中可以发现，原假设都包含了 = = =号，能够支撑起统计量的构建，而且与备择假设是互斥的。