參考視訊：可汗學院《統計學》
參考書籍：《深入淺出統計學》
文章目錄
-
-
-
-
- 概念1:假設檢驗
- 概念2:單側檢驗和雙側檢驗
- 概念3:Z-統計量和t-統計量
- 概念4:兩類錯誤——I型錯誤和II型錯誤
- 概念5:小樣本假設檢驗
- 概念6:大樣本占比假設檢驗
- 概念7:随機變量之差的方差
- 概念8:樣本均值差的分布
- 概念9:總體占比的分布
- 總結
-
-
-
概念1:假設檢驗
- 典型場景：驗證某種新措施對問題是否有改善效果。
- 主要要素
- 原假設 H 0 H_0 H0，又稱為零假設。
- 備擇假設 H 1 H_1 H1或 H a H_a Ha。
:原假設和備擇假設的構造是有學問的,要始終牢記——假設檢驗傾向于保守的原則，即原假設是保守的假設。注意
：一種新藥即将上市，藥監部門要檢驗其是否具有功效。那麼在這一情境中比較保守的假設就是——這種新藥功效沒有達标，不能上市（應當作為例子
），而激進的假設就是這種新藥功效達标，可以上市（應當作為原假設
）。備擇假設
-
作用原理
（1）構造原假設和備擇假設
（2）建構統計量
舉例： Z = ∣ X ‾ − μ ∣ σ / n Z=\frac{|\overline{X}-\mu|}{\sigma/\sqrt{n}} Z=σ/n
∣X−μ∣
（3）判斷是否拒絕原假設：p值法和臨界值法
-
p值法
通過Z分數（也可能是其他統計量，如t分布，F分布等）找到處于拒絕域的機率（即p值），如果p值小于顯著水準，說明很顯著，有理由拒絕原假設接受備擇假設，否則沒有理由拒絕原假設（
注意
-
臨界值法
根據顯著水準确定拒絕域的區間端點，然後與Z分數（或其它統計量）比較。若Z分數處于該區間外面，則說明比較顯著，有理由拒絕原假設接受備擇假設；否則沒有理由拒絕原假設（
注意
上述兩種方法殊途同歸，關鍵是思維的正向與逆向差別。
概念2:單側檢驗和雙側檢驗
參考文獻：統計基礎之假設檢驗
-
單側檢驗
例如： H 0 : μ ≤ 1.2 H 1 : μ > 1.2 H_0:\mu\le1.2\ \ \ \ \ \ H_1:\mu\gt1.2 H0:μ≤1.2 H1:μ>1.2
注意
:單側檢驗又分為下側檢驗（備擇假設為 < \lt <）與上側檢驗（備擇假設為 > \gt >），二者的差別在于當計算出的統計量為負數的情況下，查表需要進行相應的變換，比如：對于如果Z分數為-2，則查表時對應的p值應該是： p = 1 − ϕ ( 2 ) = 0.0228 p=1-\phi(2)=0.0228 p=1−ϕ(2)=0.0228
因為p<0.05，是以結果顯著，處于拒絕域，應當接受備擇假設。
-
雙側檢驗
例如： H 0 : μ ≠ 1.2 H 1 : μ = 1.2 H_0:\mu\ne1.2\ \ \ \ \ \ H_1:\mu=1.2 H0:μ̸=1.2 H1:μ=1.2
注意
概念3:Z-統計量和t-統計量
此前我們舉例時基本都是假設總體方差已知且樣本數量足夠大（通常是n>30），服從正态分布，實際上在小樣本以及總體方差未知時樣本均值的抽樣分布都是服從t-分布。
-
Z-統計量
Z = X ‾ − μ σ / n Z=\frac{\overline{X}-\mu}{\sigma/\sqrt{n}} Z=σ/n
X−μ
-
t-統計量
t = X ‾ − μ S / n ( 自 由 度 為 n − 1 ) t=\frac{\overline{X}-\mu}{S/\sqrt{n}}(自由度為n-1) t=S/n
X−μ(自由度為n−1)
概念4:兩類錯誤——I型錯誤和II型錯誤
- 兩類錯誤
| H 0 為 真 H_0為真 H0為真 | H 0 為 假 H_0為假 H0為假 | |
|---|---|---|
| 接受原假設 | Ⅱ {\rm Ⅱ} Ⅱ型錯誤 | |
| 拒絕原假設 | Ⅰ {\rm Ⅰ} Ⅰ型錯誤 | 顯著性水準 α \alpha α |
注意
概念5:小樣本假設檢驗
- 小樣本容量、總體标準差未知、控制 Ⅰ \rm Ⅰ Ⅰ型錯誤情況下的計算
-
假設檢驗
(1)構造原假設和備擇假設
(2)基于原假設為真的前提，計算處于拒絕域的機率（控制該機率 < \lt <Ⅰ型錯誤機率），判斷是否拒絕原假設。
-
區間估計
如果顯著性水準是0.05，對于雙側檢驗，則要計算95%的資料所在的區間（關于樣本均值對稱，就樣本均值的抽樣分布而言，此外還有樣本比例的抽樣分布等）。仍然采用t-分布。
概念6:大樣本占比假設檢驗
- 典型場景：要檢驗是否超過30%的美國家庭擁有網際網路接入，顯著性0.05。
-
檢驗過程
(1)構造假設
H 0 : p ≤ 30 % H 1 : p > 30 % H_0:p\le30\%\ \ \ H_1:p\gt30\% H0:p≤30% H1:p>30%
(2)構造統計量
這裡樣本占比服從伯努利分布，當 n p > 5 np>5 np>5且 n p ( 1 − p ) > 5 np(1-p)>5 np(1−p)>5時，可以近似為正态分布。統計量如下： Z = P ‾ − μ p ‾ σ μ 0 / n ∼ N ( 0 , 1 ) Z=\frac{\overline{P}-\mu_{\overline{p}}}{\sigma_{\mu_0}/\sqrt{n}}\sim{N(0,1)} Z=σμ0/n
P−μp∼N(0,1)其中 μ p ‾ \mu_{\overline{p}} μp表示樣本比例的均值， σ μ 0 \sigma_{\mu_0} σμ0表示總體占比的标準差。
(3)根據統計量計算出的Z分數查表，找出p值；或采用臨界值法找出拒絕域。
概念7:随機變量之差的方差
- 已知：兩個獨立的随機變量 X X X、 Y Y Y,則： E ( X ) = μ X , E ( Y ) = μ Y E(X)=\mu_X,E(Y)=\mu_Y E(X)=μX,E(Y)=μY V a r ( X ) = E ( ( X − μ X ) 2 ) = σ X 2 Var(X)=E((X-\mu_X)^2)=\sigma_{X}^2 Var(X)=E((X−μX)2)=σX2 V a r ( Y ) = E ( ( Y − μ Y ) 2 ) = σ Y 2 Var(Y)=E((Y-\mu_Y)^2)=\sigma_{Y}^2 Var(Y)=E((Y−μY)2)=σY2令 Z = X − Y Z=X-Y Z=X−Y，則可推出： { E ( Z ) = E ( X − Y ) = E ( X ) − E ( Y ) D ( Z ) = D ( X ) + D ( Y ) \begin{cases}E(Z)=E(X-Y)=E(X)-E(Y) \\ D(Z)=D(X)+D(Y)\end{cases} {E(Z)=E(X−Y)=E(X)−E(Y)D(Z)=D(X)+D(Y)
注意
概念8:樣本均值差的分布
- 樣本均值的抽樣分布
統計學基礎知識點刷題（task3） 從圖中可以看出：樣本均值的抽樣分布比較瘦高，這是因為其标準差為 σ X / n \sigma_{X}/\sqrt{n} σX/n
，偏小。
-
樣本均值差的分布
Z = X ‾ − Y ‾ ∼ N ( μ X ‾ − μ Y ‾ , σ X ‾ 2 + σ Y ‾ 2 ) Z=\overline{X}-\overline{Y}\sim{N(\mu_{\overline{X}}-\mu_{\overline{Y}},\sqrt{\sigma_{\overline{X}}^2+\sigma_{\overline{Y}}^2})} Z=X−Y∼N(μX−μY,σX2+σY2
)
-
樣本均值差的置信區間
實際上就是利用樣本均值差的分布對樣本均值差進行區間估計。
-
樣本均值差的假設檢驗
實際上就是利用樣本均值差的分布構造統計量，并進行假設檢驗(隻需要記住樣本均值差的分布即可)。
概念9:總體占比的分布
1. 典型場景：如上圖，要比較男性群體和女性群體在投票方面是否有顯著的差別。此時需要考慮兩樣本占比之差的抽樣分布。
2. 上圖為樣本占比均值的抽樣分布：
P 1 ‾ ∼ N ( p 1 , p 1 ( 1 − p 1 ) 1000 ) \overline{P_1}\sim{N(p_1,\sqrt{\frac{p_1(1-p_1)}{1000}})} P1∼N(p1,1000p1(1−p1)
)
P 2 ‾ ∼ N ( p 2 , p 2 ( 1 − p 2 ) 1000 ) \overline{P_2}\sim{N(p_2,\sqrt{\frac{p_2(1-p_2)}{1000}})} P2∼N(p2,1000p2(1−p2)
)是以樣本占比均值差的分布服從如下分布： P 1 ‾ − P 2 ‾ ∼ N ( p 1 − p 2 , p 1 ( 1 − p 1 ) 1000 + p 2 ( 1 − p 2 ) 1000 ) \overline{P_1}-\overline{P_2}\sim{N(p_1-p_2,\sqrt{\frac{p_1(1-p_1)}{1000}+\frac{p_2(1-p_2)}{1000}})} P1−P2∼N(p1−p2,1000p1(1−p1)+1000p2(1−p2)
)
後續進行區間估計、假設檢驗，時，隻需要記住樣本占比均值差的分布即可。
-
總體占比比較的假設檢驗
根據樣本占比均值的抽樣分布構造統計量進行假設檢驗即可。
總結
1.無論是總體均值差還是總體占比均值差，都有區間估計、假設檢驗，這是隻需要記住樣本均值的抽樣分布以及樣本占比均值的抽樣分布即可。因為區間估計和假設檢驗都是套路，統計量滿足的分布才是核心。
2.學習時有個關于假設檢驗中原假設和備擇假設關系的讨論——原假設和備擇假設是互補關系還是僅互斥關系就行？
：不一定要互補，互斥就可以。原假設隻需滿足兩點條件即可：一是能夠支撐統計量的建構；二是與備擇假設互斥。話雖如此，現在很多書籍總結如下三類假設樣式：個人見解
- H 0 : μ ≥ A H 1 : μ < A H_0:\mu\ge{A} \ \ H_1:\mu\lt{A} H0:μ≥A H1:μ<A
- H 0 : μ ≤ A H 1 : μ > A H_0:\mu\le{A} \ \ H_1:\mu\gt{A} H0:μ≤A H1:μ>A
H 0 : μ = A H 1 : μ ≠ A H_0:\mu={A} \ \ H_1:\mu\neq{A} H0:μ=A H1:μ̸=A
從中可以發現，原假設都包含了 = = =号，能夠支撐起統計量的建構，而且與備擇假設是互斥的。