【機率論】大數定律與中心極限定理 & 參數估計

大數定律與中心極限定理

一、切比雪夫不等式

設随機變量$X$具有期望$E(X)=\mu$，方差$D(X)=\sigma^{2}$，則對于任意正數$\xi$，不等式$P{|X-EX|\geq \xi}\leq \frac{DX}{\xi^{2}}$或$P{|X-EX|< \xi}\geq1- \frac{DX}{\xi^{2}}$成立

二、大數定律

1. 依機率收斂定義

設随機變量$X_{1},X_{2},\cdots,X_{n},\cdots$，對于$\forall \xi>0$，都有$\lim_{n\to \infty}P{|X_{n}-a|<\xi}=1$，則稱$X_{n}$依機率收斂于$a$，記作$X_{n}\overset{p}{\rightarrow=}a$

2. 辛欽大數定律

設随機變量$X_{1},X_{2},\cdots,X_{n},\cdots$互相獨立，且服從于統一分布，數學期望為$E(X_{i})=\mu,i=1,2,\cdots$，則$\frac{1}{n}\sum\limits^{n}{i=1}X{i}\overset{p}{=}\mu$。即$\frac{1}{n}\sum\limits^{n}{i=1}f(X{i})\overset{p}{\rightarrow}E(f(X_{i}))$

3. 伯努利大數定律

設随機變量$X_{1},X_{2},\cdots,X_{n},\cdots$互相獨立，且均服從于$B(1,p)$，則$\frac{1}{n}\sum\limits^{n}{i=1}X{i}\overset{p}{\rightarrow}p$

三、中心極限定理

1. 林德貝格-列維中心極限定理

設随機變量$X_{1},X_{2},\cdots,X_{n},\cdots$互相獨立，且均服從于同一分布，$E(X_{i})=\mu,D(X_{i})=\sigma^{2}$，則$\sum\limits^{n}{i=1}X{i}\overset{\cdot}{\sim}N(n \mu,n \sigma^{2})$（$\overset{\cdot}{\sim}$意為近似服從），且對于$\forall x$，有$\lim_{n \to \infty}P\Big{\frac{\sum\limits^{n}{i=1}X{i}-n \mu}{\sqrt{n}\sigma}\leq x\Big}=\Phi (x)$

2. 棣莫弗-拉普拉斯中心極限定理

設随機變量$X_{1},X_{2},\cdots,X_{n},\cdots$互相獨立，均服從于$B(1,p)$，則$\sum\limits^{n}{i=1}X{i}\overset{\cdot}{\sim}N[np,np(1-p)]$

參數估計

總體$X$的機率密度（機率分布）含有未知數$\theta$

一、矩估計量

令$EX=\bar{X}$，解得$\theta$的矩估計量

二、最大似然估計量

1. 定義

使得似然函數取得最大值的$\theta$值

2. 做法

1. 對樣本值$x_{1},x_{2},\cdots,x_{n}$，則似然函數為$\begin{aligned}L(\theta)=\left{\begin{aligned}&\prod^{n}{i=1}P(x{i};\theta)\&\prod^{n}{i=1}f(x{i};\theta)\end{aligned}\right.\end{aligned}$
2. 似然函數兩端取對數，求導數
3. 令$\begin{aligned}\frac{d\ln(L(\theta))}{d \theta}=0\end{aligned}$，得$\theta$的最大似然估計量

例1：設$X\sim B(1,p)$，$X_{1},X_{2},\cdots,X_{n}$是來自總體$X$的樣本，試求參數$p$的最大似然估計量

設$x_{1},x_{2},\cdots,x_{n}$為$X_{1},X_{2},\cdots,X_{n}$中的樣本值

則$X$的分布律為$P{X=x}=p^{x}(1-p)^{1-x},x=0,1$

則似然函數$L(p)=\prod^{n}{i=1}p(x{i};p)=\prod^{n}{i=1}p^{x{i}}\cdot (1-p)^{1-x_{i}}=p^{\sum\limits^{n}{i=1}x{i}}\cdot (1-p)^{\sum\limits^{n}{i=1}(1-x{i})}$

取對數$\ln(L(p))=\sum\limits^{n}{i=1}x{i}\ln p+(n-\sum\limits^{n}_{i=1})\ln(1-p)$

$\frac{d\ln(L(p))}{dp}=\frac{\sum\limits^{n}{i=1}x{i}}{p}-\frac{n-\sum\limits^{n}{i=1}x{i}}{1-p}=0$

解得$\hat{p}=\frac{1}{n}\sum\limits^{n}{i=1}x{i}=\bar{x}$

則$p$的最大似然估計量為$\hat{p}=\bar{x}$

例2：設$X\sim N(\mu,\sigma^{2})$，$\mu,\sigma^{2}$為未知參數，$x_{1},x_{2},\cdots,x_{n}$是來自$X$的一個樣本值，求$\mu,\sigma^{2}$的最大似然估計量

$f(x;\mu,\sigma^{2})=\frac{1}{\sqrt{2\pi}\sigma}e^{\frac{-(x-\mu)^{2}}{2\sigma^{2}}}$

則$L(\mu,\sigma^{2})=\prod^{n}{i=1}f(x{i};\mu,\sigma^{2})=2\pi^{-\frac{n}{2}}\cdots (\sigma^{2})^{-\frac{n}{2}}\cdot e^{-\frac{\sum\limits^{n}{i=1}(x{i}-\mu)^{2}}{2\sigma^{2}}}$

$\ln L(\mu,\sigma^{2})=-\frac{n}{2}\ln (2\pi)-\frac{n}{2}\ln(\sigma^{2})--\frac{\sum\limits^{n}{i=1}(x{i}-\mu)^{2}}{2\sigma^{2}}$

令$\frac{\partial\ln L}{\partial\mu}=0,\frac{\partial\ln L}{\partial\sigma^{2}}=0$