數理統計期末複習筆記
主要内容：
資料壓縮，點估計，假設檢驗，區間檢驗
Reference: Statistical Inference, Casella&Berger
Chapter 6 Data Reduction（資料壓縮）
随機樣本：
-
無限樣本： X 1 , . . . , X n ∼ i i d f ( x ∣ θ ) , f ( x ⃗ ∣ θ ) = ∏ i = 1 n f ( x i ∣ θ ) X_1,...,X_n\stackrel{iid}\sim f(x|\theta), f(\vec{x}|\theta)=\prod_{i=1}^n f(x_i|\theta) X1,...,Xn∼iidf(x∣θ),f(x ⎨ ⎧μ1(θ)=E(X)=nX1+...+Xnμ2(θ)=E(X2)=nX12+...+Xn2...μk(θ)=E(Xk)=nX1k+...+Xnk
得到對 ( θ 1 , . . . , θ k ) (\theta_1,...,\theta_k) (θ1,...,θk)的矩估計 ( θ ^ 1 , . . . , θ ^ k ) (\hat{\theta}_1,...,\hat{\theta}_k) (θ^1,...,θ^k).
優點：計算友善
缺點：漸近性質不好，結果可能在定義域 Θ k \Theta_k Θk以外
極大似然估計
基本概念：
- 似然函數： L ( θ ∣ x ) = p ( x 1 , . . . , x n ∣ θ ) = ∏ i = 1 n p ( x i ∣ θ ) L(\theta|x)=p(x_1,...,x_n|\theta)=\prod_{i=1}^n p(x_i|\theta) L(θ∣x)=p(x1,...,xn∣θ)=∏i=1np(xi∣θ)；對數似然函數： I ( θ ∣ x ) = log p ( x 1 , . . . , x n ∣ θ ) = ∑ i = 1 n log p ( x i ∣ θ ) I(\theta|x)=\log p(x_1,...,x_n|\theta)=\sum_{i=1}^n\log p(x_i|\theta) I(θ∣x)=logp(x1,...,xn∣θ)=∑i=1nlogp(xi∣θ)
- 定義： θ ^ = argmax θ ∈ Θ L ( θ ∣ x ) \hat{\theta}=\operatorname{argmax}_{\theta\in \Theta} L(\theta|x) θ^=argmaxθ∈ΘL(θ∣x)
驗證：
- 必要條件： ∂ L ∂ θ = 0 , ∂ L ∂ θ 2 ⪯ 0 \frac{\partial L}{\partial \theta} =0, \frac{\partial L}{\partial \theta^2}\preceq 0 ∂θ∂L=0,∂θ2∂L⪯0 semi negative definite并且小于等于函數的邊界值
- 證明： c ≥ I ( θ ∣ x ) c\geq I(\theta|x) c≥I(θ∣x)并且取等當且僅當 θ = θ ^ \theta=\hat{\theta} θ=θ^
- 在離散參數中間中，可以計算相鄰比值 L ( k + 1 ∣ x ) / L ( k ∣ x ) L(k+1|x)/L(k|x) L(k+1∣x)/L(k∣x)判斷大小
性質：
- 不變性：如果 θ \theta θ的最大似然估計是 θ ^ \hat{\theta} θ^，那麼 μ = g ( θ ) \mu=g(\theta) μ=g(θ)的最大似然估計就是 μ ^ = g ( θ ^ ) \hat{\mu}=g(\hat{\theta}) μ^=g(θ^)
- 對于 θ \theta θ的任意估計 W ( x 1 , . . . , x n ) W(x_1,...,x_n) W(x1,...,xn)，如果 ∂ ∂ θ E θ W ( x ) = ∫ W ( x ) ∂ ∂ θ f ( x ∣ θ ) d x \frac{\partial}{\partial \theta}E_\theta W(x)=\int W(x)\frac{\partial}{\partial \theta} f(x|\theta) dx ∂θ∂EθW(x)=∫W(x)∂θ∂f(x∣θ)dx
-
V a r ( W ( x ) ) ≥ ( ∂ ∂ θ E θ W ( x ) ) 2 E θ ( ( ∂ ∂ θ log f ( x ∣ θ ) ) 2 ) Var(W(x))\geq \frac{(\frac{\partial}{\partial \theta} E_\theta W(x))^2}{E_\theta ((\frac{\partial}{\partial \theta}\log f(x|\theta))^2)} Var(W(x))≥Eθ((∂θ∂logf(x∣θ))2)(∂θ∂EθW(x))2
分母 = n E θ ( ( ∂ ∂ θ log p ( x ∣ θ ) ) 2 ) =nE_\theta ((\frac{\partial}{\partial \theta}\log p(x|\theta))^2) =nEθ((∂θ∂logp(x∣θ))2)=Fisher Information
- Fisher Information Matrix I n ( θ ) \mathcal{I}_n(\theta) In(θ)：描述 X X X為刻畫 θ \theta θ帶來的資訊量大小的矩陣；當 θ \theta θ為k維時是 k × k k\times k k×k的矩陣，這裡的分母是1維的情況：
- 特别的，如果 W W W無偏，則 V a r ( W ) ≥ 1 n E θ ( ( ∂ ∂ θ log p ( x ∣ θ ) ) 2 ) Var(W)\geq \frac{1}{nE_\theta ((\frac{\partial}{\partial \theta}\log p(x|\theta))^2)} Var(W)≥nEθ((∂θ∂logp(x∣θ))2)1為定值
-
對于指數組分布，有 ∂ ∂ θ E θ ( ∂ ∂ θ log p ( x ∣ θ ) = ∫ ∂ ∂ θ ( ∂ ∂ θ log p ( x ∣ θ ) p ( x ∣ θ ) ) d x \frac{\partial}{\partial \theta} E_\theta (\frac{\partial}{\partial \theta} \log p(x|\theta)=\int \frac{\partial}{\partial\theta}(\frac{\partial}{\partial \theta} \log p(x|\theta) p(x|\theta))dx ∂θ∂Eθ(∂θ∂logp(x∣θ)=∫∂θ∂(∂θ∂logp(x∣θ)p(x∣θ))dx，進而
E θ ( ( ∂ ∂ θ log p ( x ∣ θ ) ) 2 = − E θ ( ∂ 2 ∂ θ 2 log p ( x ∣ θ ) ) E_\theta ((\frac{\partial}{\partial \theta}\log p(x|\theta))^2=-E_\theta (\frac{\partial^2}{\partial \theta^2}\log p(x|\theta)) Eθ((∂θ∂logp(x∣θ))2=−Eθ(∂θ2∂2logp(x∣θ))
，以及： I n ( θ ) = − E ( ∂ 2 I ( θ ) ∂ θ r ∂ θ s ) \mathcal{I}_n(\theta)=-E(\frac{\partial^2 I(\theta)}{\partial \theta_r\partial \theta_s}) In(θ)=−E(∂θr∂θs∂2I(θ))
-
M S E = E θ ( θ ^ − θ ) 2 = B 2 + V MSE=E_\theta(\hat{\theta}-\theta)^2=B^2+V MSE=Eθ(θ^−θ)2=B2+V: V = V a r θ ( θ ^ ) , B = E θ ( θ ^ ) − θ V=Var_\theta(\hat{\theta}), B=E_\theta(\hat{\theta})-\theta V=Varθ(θ^),B=Eθ(θ^)−θ
是以，在偏差 B B B和方差 V V V之間必然有tradeoff
-
漸近性：
- 正規化條件：
- 分布 P θ P_\theta Pθ有共同的支集
- 參數空間 Θ \Theta Θ包含一個 R k \mathbb{R}^k Rk中的開集
- θ ^ \hat{\theta} θ^是唯一使得 ∂ ∂ θ I ( θ ∣ x ) = 0 \frac{\partial}{\partial\theta}I(\theta|x)=0 ∂θ∂I(θ∣x)=0的 θ \theta θ
- 一緻性： θ → p θ 0 \theta\stackrel{p}\rightarrow \theta_0 θ→pθ0
-
漸近正态性： n ( θ ^ − θ 0 ) → d N ( 0 , 1 I ( θ ) ) \sqrt{n}(\hat{\theta}-\theta_0)\stackrel{d}\rightarrow N(0,\frac{1}{I(\theta)}) n
(θ^−θ0)→dN(0,I(θ)1)， I ( θ ) I(\theta) I(θ)就是 I n ( θ ) n \frac{\mathcal{I}_n(\theta)}{n} nIn(θ)，即 E θ ( ( ∂ ∂ θ log p ( x ∣ θ ) ) 2 ) E_\theta ((\frac{\partial}{\partial \theta}\log p(x|\theta))^2) Eθ((∂θ∂logp(x∣θ))2)，是以也可以寫成 ( θ ^ − θ 0 ) → d N ( 0 , 1 I n ( θ ) ) (\hat{\theta}-\theta_0)\stackrel{d}\rightarrow N(0,\frac{1}{I_n(\theta)}) (θ^−θ0)→dN(0,In(θ)1)
推論：(Delta Method) n ( γ ( θ ^ ) − γ ( θ 0 ) ) → d N ( 0 , γ ′ ( θ ) 2 I ( θ ) ) \sqrt{n}(\gamma(\hat{\theta})-\gamma(\theta_0))\stackrel{d}\rightarrow N(0,\frac{\gamma'(\theta)^2}{I(\theta)}) n
(γ(θ^)−γ(θ0))→dN(0,I(θ)γ′(θ)2)
- 漸近有效性：樣本數量充分大時， θ ^ \hat{\theta} θ^是無偏估計中方差最小的
Best Unbiased Estimator最佳無偏估計
對于 t ( θ ) t(\theta) t(θ)的估計 W W W，如果 ∀ θ , E θ W = t ( θ ) \forall \theta, E_\theta W=t(\theta) ∀θ,EθW=t(θ)，則稱其無偏；如果 W W W無偏，且對任意其它無偏估計 W ′ W' W′， V a r θ ( W ′ ) ≥ V a r θ ( W ) , ∀ θ Var_\theta(W')\geq Var_\theta(W),\forall \theta Varθ(W′)≥Varθ(W),∀θ，則稱 W W W為最佳無偏估計量性質：
最佳無偏估計量不一定存在，但是若存在則唯一判定：
- W W W是最佳無偏估計當且僅當其與任意其它無偏估計不相關： c o r ( W , W ′ ) = 0 cor(W,W')=0 cor(W,W′)=0
- 證明 W W W不是最佳無偏估計：給出一個和 W W W相關的無偏估計
- 給出一個無偏估計：取 X X X的一個完全統計量 T T T，則：
- T T T的任意一個函數 ϕ ( T ) \phi(T) ϕ(T)都是 E θ ϕ ( T ) E_\theta\phi(T) Eθϕ(T)的無偏估計
- 任意 h ( x 1 , . . . , x n ) h(x_1,...,x_n) h(x1,...,xn)若為 t ( θ ) t(\theta) t(θ)的一個無偏估計，則 ϕ ( T ) = E ( h ( x 1 , . . . , x n ) ∣ T ) \phi(T)=E(h(x_1,...,x_n)|T) ϕ(T)=E(h(x1,...,xn)∣T)是 t ( θ ) t(\theta) t(θ)的無偏估計
Chapter 7 假設檢驗
基本定義
-
通過樣本反推參數 θ \theta θ是否滿足屬于某個集合 Θ 0 \Theta_0 Θ0：
零假設 H 0 H_0 H0： θ ∈ θ 0 \theta\in \theta_0 θ∈θ0；否則： H 1 H_1 H1: θ ∈ Θ 1 = Θ / Θ 0 \theta\in \Theta_1=\Theta/\Theta_0 θ∈Θ1=Θ/Θ0. 設定一個判定規則：輸入 X X X，輸出接收/拒絕
如果樣本X是由 θ ∈ Θ 0 \theta\in \Theta_0 θ∈Θ0生成的，則本應接收。如果拒絕了，則造成第一類錯誤（假陽性）
如果樣本X是由 θ ∈ Θ 1 \theta\in \Theta_1 θ∈Θ1生成的，則本應拒絕。如果接收了，則造成第二類錯誤（假陰性）
-
假設判定規則定義了拒絕區域 R R R，拒絕 H 0 H_0 H0當且僅當 T ( X ) ∈ R T(X)\in R T(X)∈R，則：
權函數 β ( θ ) = P θ ( T ( X ) ∈ R ) \beta(\theta)=P_\theta(T(X)\in R) β(θ)=Pθ(T(X)∈R)，當 θ ∈ Θ 0 \theta\in \Theta_0 θ∈Θ0時， β ( θ ) = P θ ( 第一類錯誤率 ) \beta(\theta)=P_\theta(第一類錯誤率) β(θ)=Pθ(第一類錯誤率)；否則= 1 − P θ ( 第二類錯誤率 ) 1-P_\theta(第二類錯誤率) 1−Pθ(第二類錯誤率)
- 目标：盡可能減少這兩類錯誤的機率，即在 Θ 0 \Theta_0 Θ0中 β \beta β盡可能， Θ 1 \Theta_1 Θ1中 β \beta β盡可能大
-
但是一般來說根據連續性兩個目标不太可能同時達到，是以改為定義檢驗水準（固定一端）：
如果 sup θ ∈ Θ 0 β ( θ ) = α \sup_{\theta\in \Theta_0}\beta(\theta)=\alpha supθ∈Θ0β(θ)=α，則稱為size為 α \alpha α的檢驗；如果 ≤ α \leq \alpha ≤α，則稱為level為 α \alpha α的檢驗
如果 sup θ ∈ Θ 0 β ( θ ) ≤ inf θ ∈ Θ 1 β ( θ ) \sup_{\theta\in \Theta_0}\beta(\theta)\leq \inf_{\theta\in\Theta_1}\beta(\theta) supθ∈Θ0β(θ)≤infθ∈Θ1β(θ)，則稱為無偏的檢驗
常見的檢驗構造方法
似然比方法
-
定義 λ ( x ) = sup θ ∈ Θ 0 L ( θ ∣ x ) sup θ ∈ Θ L ( θ ∣ x ) = L ( θ 0 ^ ∣ x ) L ( θ ^ ∣ x ) \lambda(x)=\frac{\sup_{\theta\in\Theta_0}L(\theta|x) }{\sup_{\theta\in\Theta}L(\theta|x)}=\frac{L(\hat{\theta_0}|x)}{L(\hat{\theta}|x)} λ(x)=supθ∈ΘL(θ∣x)supθ∈Θ0L(θ∣x)=L(θ^∣x)L(θ0^∣x)，當 λ ( x ) ≤ c \lambda(x)\leq c λ(x)≤c時拒絕
注： λ \lambda λ也可考慮直接取關于充分統計量 T T T的函數
優勢：最普适的構造方法；可以用來消去讨厭參數（nuisance parameter，即不需要檢驗但是與分布有關的參數）
-
漸近性：
假設 x 1 , . . . , x n ∼ i i d f ( x ∣ θ ) x_1,...,x_n\stackrel{iid}\sim f(x|\theta) x1,...,xn∼iidf(x∣θ)，則在零假設下， − 2 log λ ( x ) → d χ k 2 , k = dim ( Θ ) − dim ( Θ 0 ) -2\log \lambda(x)\stackrel{d}\rightarrow \chi_k^2, k=\dim(\Theta)-\dim(\Theta_0) −2logλ(x)→dχk2,k=dim(Θ)−dim(Θ0)
進而，如果建立一個檢驗，在 − 2 log λ ( x ) ≥ χ k , α 2 -2\log \lambda(x)\geq \chi_{k,\alpha}^2 −2logλ(x)≥χk,α2時拒絕，則得到一個漸近level為 α \alpha α的檢驗
一緻最大功效檢驗（UMP）
- 假設 C α C_\alpha Cα是所有level為 α \alpha α的檢驗的集合，則對任意 β ( ) ∈ C α \beta()\in C_\alpha β()∈Cα， β \beta β是UMP當且僅當任意其它 β ′ ∈ C α \beta'\in C_\alpha β′∈Cα， β ′ ( θ ) ≤ β ( θ ) , ∀ θ ∈ Θ 0 c \beta'(\theta)\leq \beta(\theta),\forall \theta \in \Theta_0^c β′(θ)≤β(θ),∀θ∈Θ0c
- 判定：
- 如果 Θ 0 = { θ 0 } , Θ 1 = { θ 1 } \Theta_0=\{\theta_0\},\Theta_1=\{\theta_1\} Θ0={θ0},Θ1={θ1}，那麼一個具有拒絕區域 R = { x ∣ f ( x ∣ θ 1 ) > k f ( x ∣ θ 0 ) } R=\{x|f(x|\theta_1)>kf(x|\theta_0)\} R={x∣f(x∣θ1)>kf(x∣θ0)}，并且 P θ 0 ( x ∈ R ) = α P_{\theta_0}(x\in R)=\alpha Pθ0(x∈R)=α的測試必定是一個UMP檢驗
- 如果 Θ 0 = { θ ≤ θ 0 } , Θ 1 = { θ > θ 0 } \Theta_0=\{\theta\leq \theta_0\},\Theta_1=\{\theta>\theta_0\} Θ0={θ≤θ0},Θ1={θ>θ0}，并且分布族 P θ P_\theta Pθ是單調的： ∀ θ 1 < θ 2 \forall \theta_1<\theta_2 ∀θ1<θ2， f θ 2 ( x ) f θ 1 ( x ) \frac{f_{\theta_2}(x)}{f_{\theta_1}(x)} fθ1(x)fθ2(x)在區域 { x ∣ f θ 2 ( x ) > 0 或 f θ 1 ( x ) > 0 } \{x|f_{\theta_2}(x)>0 或f_{\theta_1}(x)>0\} {x∣fθ2(x)>0或fθ1(x)>0}上單調不減，那麼一個當且僅當 T ( x ) > t 0 T(x)>t_0 T(x)>t0時拒絕的檢測是level為 α = P θ 0 ( T > t 0 ) \alpha=P_{\theta_0}(T>t_0) α=Pθ0(T>t0)的UMP檢驗
-
注意：
對于離散的分布，UMP可能是離散的
UMP檢測不一定存在
Wald檢驗和Score檢驗
- 這兩個檢驗方法是漸近性的
-
如果 Θ 0 = { θ 0 } \Theta_0=\{\theta_0\} Θ0={θ0}，則在零假設下，有 I ( θ ) ( θ ^ − θ ) → a s y N ( 0 , 1 ) \sqrt{\mathcal{I}(\theta)} (\hat{\theta}-\theta)\stackrel{asy}\rightarrow N(0,1) I(θ)
(θ^−θ)→asyN(0,1)（ θ ^ \hat{\theta} θ^為MLE），并且在一般情況下 I ( θ ) → V a r ( θ ) \mathcal{I}(\theta)\rightarrow Var(\theta) I(θ)→Var(θ)，是以，得到兩個自然的漸近檢驗：
-
Wald： ∣ θ ^ − θ V a r ( θ ^ ) ∣ ≥ Z α / 2 \left|\frac{\hat{\theta}-\theta}{\sqrt{Var(\hat{\theta})}}\right|\geq Z_{\alpha/2}
Var(θ^)
θ^−θ
≥Zα/2，其中 V a r ( θ ^ ) Var(\hat{\theta}) Var(θ^)可以通過分布求出
-
Score： ∣ θ ^ − θ V a r ( θ ) ∣ ≥ Z α / 2 \left|\frac{\hat{\theta}-\theta}{\sqrt{Var({\theta})}}\right|\geq Z_{\alpha/2}
Var(θ)
θ^−θ
≥Zα/2，其中 V a r ( θ ) Var({\theta}) Var(θ)可以通過分布求出
-
Union Intersection和Intersection Union檢驗：
- 這兩個檢驗是為了解決假設是某些簡單集合的并集的情況。這裡前一個項是指拒絕域的形式，後一個項是指零假設的形式
- 是以： Θ 0 = ∩ γ ∈ Γ Θ γ \Theta_0=\cap_{\gamma\in\Gamma}\Theta_\gamma Θ0=∩γ∈ΓΘγ，則為Union Intersection檢驗。将其分解為若幹檢驗 H γ H_\gamma Hγ： H γ 0 = Θ γ H_{\gamma0}=\Theta_\gamma Hγ0=Θγ，假設每個檢驗的拒絕域為 R γ R_\gamma Rγ，則最終得到的檢驗的拒絕域 R = ∪ γ ∈ Γ R r R=\cup_{\gamma\in \Gamma} R_r R=∪γ∈ΓRr，因為接受域小，是以拒絕域相對的就大
- 反之， Θ 0 = ∪ γ ∈ Γ Θ γ \Theta_0=\cup_{\gamma\in\Gamma}\Theta_\gamma Θ0=∪γ∈ΓΘγ，則為Intersection Union檢驗。将其分解為若幹檢驗 H γ H_\gamma Hγ： H γ 0 = Θ γ H_{\gamma0}=\Theta_\gamma Hγ0=Θγ，假設每個檢驗的拒絕域為 R γ R_\gamma Rγ，則最終得到的檢驗的拒絕域 R = ∩ γ ∈ Γ R r R=\cap_{\gamma\in \Gamma} R_r R=∩γ∈ΓRr，
p值
- p值是一個關于樣本的函數 p ( x ) p(x) p(x)，表征的是 H 0 H_0 H0為真時觀測到至少與目前樣本 x x x相同極端的樣本的機率。也就是說，如果一個樣本的p值為 t t t，則可以斷言同類型樣本的出現機率為t
- 一般使用p值都是反過來用，即把要驗證的假設當做 H 1 H_1 H1，然後說明樣本具有足夠小的p值（一般取0.05），進而說明如果 H 0 H_0 H0成立，那麼樣本會是非常特殊的，進而反過來證明 H 1 H_1 H1很可能成立
-
依據上面的性質，可以抽象出一個定義：
0 ≤ p ( x ) ≤ 1 , ∀ x 0\leq p(x)\leq1,\forall x 0≤p(x)≤1,∀x. 一個p值是有效的，當且僅當對任意 θ ∈ Θ 0 , ∀ α \theta\in \Theta_0,\forall \alpha θ∈Θ0,∀α， P θ ( x : p ( x ) ≤ α ) ≤ α P_\theta(x:p(x)\leq \alpha)\leq \alpha Pθ(x:p(x)≤α)≤α，也就是說，在 Θ 0 \Theta_0 Θ0中，小的p值一定意味着小的出現機率，進一步意味着 H 1 H_1 H1為真。
-
構造：考慮構造函數 W ( x ) W(x) W(x)：較大的 W W W值意味着 H 1 H_1 H1更可能為真
對任意 x x x，定義 P ( x ) = sup θ ∈ Θ 0 P θ ( W ( X ) ≥ W ( x ) ) P(x)=\sup_{\theta\in\Theta_0} P_\theta (W(X)\geq W(x)) P(x)=supθ∈Θ0Pθ(W(X)≥W(x))即為所求p值
置換檢驗
X 1 , . . . , X n ∼ F , Y 1 , . . . , Y m ∼ G X_1,...,X_n\sim F, Y_1,...,Y_m\sim G X1,...,Xn∼F,Y1,...,Ym∼G，現在希望檢驗 H 0 : F = G , H 1 : F ≠ G H_0:F=G,H_1:F\neq G H0:F=G,H1:F=G
定義 T = ∣ X ‾ n − Y ‾ m ∣ T=|\overline{X}_n-\overline{Y}_m| T=∣Xn−Ym∣，對 X 1 , . . . , Y m X_1,...,Y_m X1,...,Ym做置換，得到 T T T值 T i , i = 1 ∼ N ! T_i,i=1\sim N! Ti,i=1∼N!；并且原本的 T T T值為 T o b s T_{obs} Tobs，那麼對于觀測X的p值就是 P 0 ( T > T o b s ) = ∑ i 1 ( T i > o b s ) N ! P_0(T>T_{obs})=\frac{\sum_{i} 1({T_i>obs})}{N!} P0(T>Tobs)=N!∑i1(Ti>obs)，因為理論上如果兩個的分布相同那麼p值應該會比較高。
Chapter 8 區間檢驗
置信區間：對于樣本 x x x，和區間 [ L ( x ) , U ( x ) ] [L(x),U(x)] [L(x),U(x)]，其置信度為 1 − α = inf θ P θ ( θ ∈ [ L ( x ) , U ( x ) ] ) 1-\alpha=\inf_{\theta}P_\theta(\theta\in[L(x),U(x)]) 1−α=infθPθ(θ∈[L(x),U(x)])，也就是說， θ \theta θ至多隻有 α \alpha α的機率不在該區間中構造：
-
機率不等式：
Hoeffding’s不等式： X i ∈ [ a i , b i ] X_i\in [a_i,b_i] Xi∈[ai,bi] 獨立，則 P ( ∣ X ‾ − E X ∣ ≥ t ) ≤ 2 exp { − 2 n 2 t 2 ∑ i ( b i − a i ) 2 } P(|\overline{X}-EX|\geq t)\leq 2\exp \{-\frac{2n^2t^2}{\sum_i(b_i-a_i)^2}\} P(∣X−EX∣≥t)≤2exp{−∑i(bi−ai)22n2t2}
-
測試取逆
假設可以建立一個level為 α \alpha α的測試，并且定義 C ( x ) = { θ 0 : x ∈ A ( θ 0 ) } C(x)=\{\theta_0:x\in A(\theta_0)\} C(x)={θ0:x∈A(θ0)}，則 C ( x ) C(x) C(x)為一個 1 − α 1-\alpha 1−α的置信集合
-
樞軸方法
Q ( X 1 , . . . , X n , θ ) Q(X_1,...,X_n,\theta) Q(X1,...,Xn,θ)稱為一個樞軸，若 Q Q Q與 θ \theta θ獨立；則 P θ ( a ≤ Q ( x , θ ) ≤ b ) = 1 − α P_\theta(a\leq Q(x,\theta)\leq b)=1-\alpha Pθ(a≤Q(x,θ)≤b)=1−α（a,b為Q的分布的1-alpha區間端點）
-
Delta方法（近似）
θ ^ \hat{\theta} θ^為MLE，則由于 n ( γ ( θ ^ ) − γ ( θ 0 ) ) → d N ( 0 , γ ′ ( θ ) 2 I ( θ ) ) \sqrt{n}(\gamma(\hat{\theta})-\gamma(\theta_0))\stackrel{d}\rightarrow N(0,\frac{\gamma'(\theta)^2}{I(\theta)}) n
(γ(θ^)−γ(θ0))→dN(0,I(θ)γ′(θ)2)，我們知道 γ ( θ 0 ) ± Z 1 − α / 2 ∣ π ′ ( θ ) ∣ / I n ( θ ) \gamma(\theta_0)\pm Z_{1-\alpha/2}|\pi'(\theta)|/\sqrt{I_n(\theta)} γ(θ0)±Z1−α/2∣π′(θ)∣/In(θ)
（仔細推一下這個形式）
高維情況： n ( Y n − θ ) → d N p ( 0 , Σ ) \sqrt{n}\left(Y_n-\theta\right) \stackrel{d}{\rightarrow} N_p(0, \Sigma) n
(Yn−θ)→dNp(0,Σ)； n ( g ( Y n ) − g ( θ ) ) → d N ( 0 , ( ∂ g ( θ ) ∂ θ ) ′ Σ ( ∂ g ( θ ) ∂ θ ) ) \sqrt{n}\left(g\left(Y_n\right)-g(\theta)\right) \stackrel{d}{\rightarrow} N\left(0,\left(\frac{\partial g(\theta)}{\partial \theta}\right)^{\prime} \Sigma\left(\frac{\partial g(\theta)}{\partial \theta}\right)\right) n
(g(Yn)−g(θ))→dN(0,(∂θ∂g(θ))′Σ(∂θ∂g(θ)))
Σ \Sigma Σ：協方差矩陣
-
Score方法（近似）
Q ( X ∣ θ ) = ∂ ∂ θ log L ( θ ∣ X ) − E θ ( ∂ 2 ∂ θ 2 I ( θ ∣ X ) ) → N ( 0 , 1 ) Q(X \mid \theta)=\frac{\frac{\partial}{\partial \theta} \log L(\theta \mid X)}{\sqrt{-E_\theta\left(\frac{\partial^2}{\partial \theta^2} I(\theta \mid X)\right)}}\rightarrow N(0,1) Q(X∣θ)=−Eθ(∂θ2∂2I(θ∣X))
∂θ∂logL(θ∣X)→N(0,1)，是以集合 { θ : ∣ Q ( x ∣ θ ) ∣ ≤ z α / 2 } \left\{\theta:|Q(x \mid \theta)| \leq z_{\alpha / 2}\right\} {θ:∣Q(x∣θ)∣≤zα/2}置信區間為 1 − α 1-\alpha 1−α
-
LRT方法（近似）
同理，當 Θ 0 = θ 0 \Theta_0=\theta_0 Θ0=θ0時，LRT的漸進性也可以用來構造置信區間： C n = { θ : L ( θ ) L ( θ ^ ) > e − χ k , 1 − α 2 / 2 } C_n=\left\{\theta: \frac{L(\theta)}{L(\widehat{\theta})}>e^{-\chi_{k, 1-\alpha}^2 / 2}\right\} Cn={θ:L(θ
)L(θ)>e−χk,1−α2/2}
- 最優長度：在所有 1 − α 1-\alpha 1−α的置信區間中，存在某個長度最短的置信區間。這要求 ∫ a b f ( z ) d z = 1 − α \int_a^b f(z)dz=1-\alpha ∫abf(z)dz=1−α，當f單峰時把峰取在其中并且使得兩端的函數值相等即可
![聊聊生日悖論和生日攻擊[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)