假設檢驗知識總結

文章目錄

- 假設檢驗知識總結
- - 假設檢驗的邏輯是什麼？
  - 假設檢驗的原理
  - - 假設檢驗的基本概念
    - 假設檢驗步驟
    - 假設檢驗的分類
  - 方差分析(ANOVA)
  - - 1-way ANOVA的基本思想

假設檢驗的邏輯是什麼？

從知乎上比較好的回答中可以總結出，

假設檢驗的基本邏輯是：

不輕易拒絕假設
小機率事件發生不正常

結合這兩點，我們設定一個随機變量的區域，這個區域是偏離原假設的，并且發生在這個區域的機率很小，如果實際觀察到的值還是出現在這個不太可能出現的範圍内，則我們可以拒絕原假設

其中，區域對應的是臨界值，發生在這個臨界區間的機率稱為顯著性水準。

有兩種方法可以決定是否拒絕原假設：

給定發生偏離原假設極端情況的機率(即顯著性水準 α \alpha α)，可以計算得到對應的臨界值(參考下圖，偏離原假設的陰影部分面積表示顯著性水準，對應的坐标表示臨界值)。

若觀察值在臨界值範圍内，表示出現這種現象是正常的，則可以接受原假設；若觀察值超過臨界值範圍，，則表示在原假設下出現了不太可能的現象，則我們拒絕原假設
給定發生偏離原假設極端情況的機率，計算出現觀察值以及比觀察值還要偏離原假設的機率(這就是p值)，若 p > α p>\alpha p>α，則表示觀察值在臨界值範圍内，可以接受原假設(圖1)；若 p < α p < \alpha p<α，則表示觀察值在臨界值範圍之外，拒絕原假設(如圖2)

假設檢驗知識總結

假設檢驗的原理

假設檢驗的基本概念

還是以射箭的例子來解釋假設檢驗的一些基本概念：

零假設(null hypothesis)：說白了就是你想證僞的假設，在射箭的例子裡，就是我在吹牛皮，我的平均水準不是8環，記為 H 0 : μ = 8 H_0: \mu = 8 H0:μ=8
備擇假設：是一種與原假設相反的關于總體的斷言，在射箭的例子裡，可能的備擇假設有：

H 1 : μ ≠ 8 H_1:\mu \neq 8 H1:μ=8(即平均水準不是8環，對應雙尾檢驗)

H 1 : μ > 8 H_1:\mu > 8 H1:μ>8(即平均水準大于8環，你還謙虛了，對應右尾檢驗)

H 1 : μ < 8 H_1:\mu < 8 H1:μ<8(即平均水準小于8環，你在吹牛，對應左尾檢驗)

從裡面選擇一個作為備擇假設，一般來說，我們将希望證僞的假設作為原假設，希望予以支援的作為備擇假設。是以，這裡，我們選擇你在吹牛作為備擇假設，即 H 1 : μ < 8 H_1:\mu < 8 H1:μ<8

檢驗統計量：為了進行假設檢驗，我們從總體中随機抽取樣本，計算相關統計量，該統計量随着假設檢驗的類型不同而不同，但要求在零假設下的分布必須是已知的(或假設的)(比如假設我的射箭靶數服從高斯分布)

p p p: 檢驗的 p p p值是零假設下，得到檢驗統計量或比樣本值更極端的值的機率， p p p越小，就代表零假設成立的機率越小(為什麼？因為 p p p值代表的是在零假設下出現比觀察值更極端的機率，比如我射擊出了2環，但 p p p值顯示出現比2環更極端的機率非常低，但現在卻出現了，說明假設可能不靠譜)
α \alpha α:顯著性水準 α \alpha α是檢驗的一個門檻值， α \alpha α的值必須在假設檢驗前确定好，例如0.05。然後比較 p p p和 α \alpha α
- 如果一個檢驗的 p < α p < \alpha p<α，檢驗拒絕零假設
- 如果 p > α p > \alpha p>α，則沒有足夠的證據拒絕零假設
置信區間: 假設檢驗的結果用置信區間來表示。置信區間是一個估計值範圍，其上界和下界是根據樣本值和樣本已知的抽樣分布計算的。比如我們計算出我射箭的置信區間為 5 ∼ 7 5 \sim 7 5∼7環，則可以拒絕零假設
自由度: 某個統計量的計算方法中，允許變化的值(樣本)的個數，本質上，自由度是做一個估計時，所擁有的獨立資訊(證據)的數量

假設檢驗步驟

提出 H 0 H_0 H0和 H 1 H_1 H1
設定顯著性水準 α \alpha α
標明統計方法，将樣本觀察值按照公式計算出統計量大小
根據統計量的大小及其分布确定檢驗假設成立的可能性 p p p的大小，若 p > α p > \alpha p>α，結論為按所取顯著性水準 α \alpha α不顯著，無充足理由拒絕 H 0 H_0 H0，若 p < α p < \alpha p<α，結論為顯著，拒絕 H 0 H_0 H0

假設檢驗的分類

假設檢驗分為三種

分布檢驗，如 Anderson-Darling 和單樣本 Kolmogorov-Smirnov ，用于檢驗樣本資料是否來自具體特定分布的總體
定位檢驗，如 z 檢驗和單樣本 t 檢驗，用于檢驗樣本資料是否來自具有特定均值或中值的總體
離散度檢驗，如 卡方 檢驗，用于檢驗樣本資料是否來自具有特定方差的總體

方差分析(ANOVA)

方差分析又稱為 F F F檢驗，是一種判定方差在類間和類内是否(明顯)具有差別的一種方法。如果類内差異相對于類間差異較小，則可以推斷出類與類之間是有明顯差異的。

1-way ANOVA的基本思想

F F F檢驗的零假設為

所有類的均值都相等

，備擇假設是所有類的均值不全相等(即至少有一個類的均值與其他具有顯著差異)

ANOVA的核心思想可以用一句話總結：“所有樣本的總差異可以分解為類間差異和類内差異”。

∑ i ∑ j ( y i j − y ˉ ) 2 ⏟ S S T = ∑ j n j ( y ˉ j − y ˉ ) 2 ⏟ S S R + ∑ i ∑ j ( y i j − y ˉ j ) 2 ⏟ S S E \underbrace{\sum_{i}\sum_{j}(y_{ij}-\bar y)^2}_{SST} = \underbrace{\sum_j n_j(\bar y_j - \bar y)^2}_{SSR} + \underbrace{\sum_i \sum_j (y_{ij} - \bar y_j)^2}_{SSE} SST

i∑j∑(yij−yˉ)2=SSR

j∑nj(yˉj−yˉ)2+SSE

i∑j∑(yij−yˉj)2

設總樣本數為 N N N，類别數為 k k k( k ≥ 2 k \ge 2 k≥2)，則

總差異(SST): 所有樣本與總體均值的差異
類間差異(SSR): 類均值與總體均值的差異，類間差異的自由度為 k − 1 k-1 k−1，故類間差異的均方為 S S R k − 1 \frac{SSR}{k-1} k−1SSR
類内差異(SSE): 類内每個樣本與其所在類均值的差異，類内差異的自由度為 N − k N-k N−k，是以類内差異的均方為 S S E N − k \frac{SSE}{N-k} N−kSSE

MSR和MSE的比值，就是 F F F統計量。理論證明，當 H 0 H_0 H0成立時， F F F統計量服從對應自由度分别為 k − 1 , N − k k-1,N-k k−1,N−k的 F F F分布， F F F值越接近1，就越沒有理由拒絕 H 0 H_0 H0，反之， F F F值越大，拒絕 H 0 H_0 H0的理由就越充分

F = S S R k − 1 S S E N − k = M S R M S E ∼ F k − 1 , N − k F = \frac{\frac{SSR}{k-1}}{\frac{SSE}{N-k}} = \frac{MSR}{MSE} \sim F_{k-1, N-k} F=N−kSSEk−1SSR=MSEMSR∼Fk−1,N−k

假設檢驗知識總結