【機率論】随機變量的數字特征

數學期望

一、定義

1. 一維離散型随機變量

設離散型随機變量$X$的分布律為$P{X=x_{i}}=p_{i}.i=1,2,\cdots$，則随機變量$X$的數學期望為$\sum\limits^{\infty}{i=1}x{i}p_{i}$，記為$EX$，即$EX=\sum\limits^{\infty}{i=1}x{i}p_{i}$

推廣：若離散型随機變量$X$的分布律為$P{X=x_{i}}=p_{i},i=1,2,\cdots$，$Y$是随機變量$X$的函數：$Y=g(X)$，其中$g$為連續函數，則$EY=E[g(X)]=\sum\limits^{\infty}{i=1}g(x{i})p_{i}$

2. 一維連續型随機變量

設連續型随機變量$X$的機率密度$f(x)$，則随機變量的數學期望$\int^{+\infty}{-\infty }xf(x)dx$，記為$EX$，即$EX=\int^{+\infty}{-\infty}xf(x)dx$

推廣：若連續型随機變量$X$的機率密度為$f(x)$，$Y$是随機變量$X$的函數：$Y=g(X)$，其中$g$為連續函數，則$EY=\int^{+\infty}_{-\infty}g(x)f(x)dx$

例1：設$X\sim P(\lambda)$，求$EX$

$P{x=k}=\frac{\lambda^{k}}{k!}e^{-\lambda},k=0,1,2,\cdots,\lambda>0$

則

$\begin{aligned}EX&=\sum\limits^{\infty}{k=0}k\cdot \frac{\lambda^{k}}{k!}e^{-\lambda}\&=\lambda e^{-\lambda}\sum\limits^{\infty}{k=1}\frac{\lambda^{k-1}}{(k-1)!}\quad k=0\text{時，}(k-1)!\text{無意義}\&=\lambda e^{-\lambda}\sum\limits ^{\infty}{n=0}\frac{\lambda^{n}}{n!}\&\text{此處使用無窮數級}e^{x}=\sum\limits^{\infty}{n=0}\frac{x^{n}}{n}\&=\lambda e^{-\lambda}e^{\lambda}\&=\lambda\end{aligned}$

則$EX=\lambda$

例2：設$X\sim U(a,b)$，求$EX$

$f(x)=\begin{cases}\frac{1}{b-a},a<x<b\0,\text{其他}\end{cases}$

則

$\begin{aligned}EX&=\int^{+\infty}{-\infty}xf(x)dx\&=\int^{b}{a}\frac{x}{b-a}dx\&=\frac{1}{2}\frac{1}{b-a}x^{2}\Big|^{b}_{a}\&=\frac{a+b}{2}\end{aligned}$

3. 二維離散型随機變量

設$(X,Y)$為二維離散型随機變量，其分布律為$P{X=x_{i},Y=y_{i}}=p_{ij},\quad i,j =1,2,\cdots$，令$Z=g(x,y)$，則$Z$的期望為$E(Z)=E[g(X,Y)]=\sum\limits^{\infty}{j=1}\sum\limits^\infty{i=1}g(x_{i},y_{j})p_{ij}$

4. 二維連續型随機變量

設$X,Y$為二維連續型随機變量，其聯合機率密度為$f(x,y)$，令$Z=g(X,Y)$，則$Z$的期望$E(Z)=E[g(X,Y)]=\int^{+\infty}{-\infty}\int^{+\infty}{-\infty}g(x,y)f(x,y)dxdy$

例3：設随機變量$(X,Y)$的機率密度為$f(x,y)=\begin{cases}\frac{3}{2x^{3}y^{2}},\frac{1}{x}<y<x,x>1\0,\text{其他}\end{cases}$，求數學期望$E(Y),E(\frac{1}{XY})$

這裡$E(Y)$也可以看做是$E(Z)=E[g(X,Y)]$來計算，即$E(Y)=E(0\cdot X+Y)$

$\begin{aligned}E(Y)&=\int^{+\infty}{-\infty}\int^{+\infty}{-\infty}y\cdot f(x,y)dxdy\&=\int^{+\infty}{1}dx\int^{x}{\frac{1}{x}}y\cdot \frac{3}{2x^{3}y^{2}}dy\&=3\int^{+\infty}_{1}\frac{\ln x}{x^{3}}dx\&=\frac{3}{4}\end{aligned}$

$\begin{aligned}E(\frac{1}{XY})=\int^{+\infty}{-\infty}\int^{+\infty}{-\infty}\frac{1}{xy}f(x,y)dxdy=\int^{+\infty}{1}dx\int^{x}{\frac{1}{x}}\frac{3}{2x^{4}y^{3}}dy=\frac{3}{5}\end{aligned}$

二、性質

• 設$C$是常數，則$E(C)=C$
• 設$X$是一個随機變量，$C$是常量，則$E(CX)=CE(X)$
• 設$X,Y$是兩個随機變量，則$E(X+Y)=E(X)+E(Y)$
• 設$X,Y$是互相獨立的随機變量，則$E(XY)=E(X)\cdot E(Y)$

方差

一、定義

設$X$是一個随機變量，若$E{[X-E(X)]^{2}}$存在，則稱$E{[X-E(X)]^{2}}$為$X$的方差，記作$D(X)$或$Var(X)$，即$D(X)=E{[X-E(X)]^{2}}$

二、公式

• $D(X)=E{[X-E(X)]^{2}}$
• $D(X)=E(X^{2})-[E(X)]^{2}$

      推導

      $\begin{aligned}E{[X-E(X)]^{2}}&=E[X^{2}-2X\cdot EX+(EX)^{2}]\&=EX^{2}-E(2X\cdot EX)+E[E(EX)^{2}]\&EX\text{是常數}\&=EX^{2}-2EX\cdot EX+(EX)^2\&=EX^{2}-(EX)^{2}\end{aligned}$

例1：設随機變量$X$服從于$(0-1)$分布，其分布律為$P{X=0}=1-p,P{X=1}=p$，求$D(X)$

$X$	$0$	$1$
$P$	$1-p$	$p$

$EX=0\cdot(1-p)+1\cdot p=p$

$E(X^{2})=0^{2}(1-p)+1^{2}\cdot p=p$

$\therefore DX=E(X^{2})-(EX)^{2}=p-p^{2}=p(1-p)$

例2：設随機變量$X\sim P(\lambda)$，求$D(X)$

$EX=\lambda$

$\begin{aligned}E(X^{2})&=E[X(X-1)-X]\&=E[X(X-1)]+EX\&=\sum\limits^{\infty}{k=0}k\cdot(k-1)\frac{\lambda^{k}}{k!}e^{-\lambda}+\lambda\&=\lambda^{2}e^{-\lambda}\sum\limits^{\infty}{k=2}\frac{\lambda^{k-2}}{(k-2)!}+\lambda\&\overset{k-2=n}{=}\lambda^{2}e^{-\lambda}\sum\limits^{\infty}{n=0}\frac{\lambda^{n}}{n!}+\lambda\&\text{此處利用}\sum\limits^{\infty}{n=0}\frac{\lambda^{n}}{n!}=e^\lambda\&=\lambda^{2}+\lambda\end{aligned}$

故$DX=E(X^{2})-(EX)^{2}=\lambda$

例3：設随機變量$X\sim U(a,b)$，求$D(X)$

$f(x)=\begin{cases}\frac{1}{b-a},a<x<b\0,\quad\text{其他}\end{cases}$

$E(X)=\frac{a+b}{2}$

$E(X^{2})=\int^{+\infty}{-\infty}x^{2}f(x)dx=\int^{b}{a}\frac{x^{2}}{b-a}dx=\frac{a^{2}+ab+b^{2}}{3}$

$DX=E(X^{2})-(EX)^{2}=\frac{(b-a)^{2}}{12}$

例4：設随機變量$X\sim E(\theta)$，其中$\theta>0$，求$E(X)$和$D(X)$

$f(x)=\begin{cases}\frac{1}{\theta}e^{-\frac{x}{\theta}},x>0\0,x\leq0\end{cases}$，其中$\theta>0$

$EX=\int^{+\infty}{-\infty}xf(x)dx=\int^{+\infty}{0}x\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx=\theta$

$E(X^{2})=\int^{+\infty}{0}x^{2}\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx=-x^{2}e^{-\frac{x}{\theta}}\Big|^{+\infty}{0}+2\theta\underbrace{\int^{+\infty}{0}x\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx}{\text{用上面的}EX\text{的結果}}=2\theta^{2}$

則$DX=E(X^{2})-(EX)^{2}=\theta^{2}$

三、性質

• 設$C$為常數，則$D(C)=0$
• 設$X$為随機變量，$C$為常數，則$D(CX)=C^{2}D(X),D(X+C)=D(X)$
• 設$X,Y$為兩個随機變量，則$D(X\pm Y)=D(X)+D(Y)\pm2Cov(X,Y)$

      當$X$與$Y$互相獨立時，$D(X\pm Y)=D(X)+D(Y)$

• $D(X)=0\Leftrightarrow$随機變量$X$以機率為$1$取常數$E(X)$，即$P{X=E(X)}=1$

協方差的相關系數

一、協方差

1. 定義

設随機變量$X$與$Y$，則稱$E{[X-E(X)][Y-E(Y)]}$為随機變量$X$與$Y$的協方差，記作$Cov(X,Y)$

2. 公式

$Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}=E(XY)-E(X)E(Y)$

當$X$與$Y$獨立時，$E(XY)=EX\cdot EY\Leftrightarrow Cov(X,Y)=0\rightarrow D(X\pm Y)=DX+DY$

3. 性質

• $Cov(aX,bY)==abCov(X,Y)$，其中$a,b$為常數
• $Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y)$

二、相關系數

1. 定義

已知随機變量$X$與$Y$，稱$\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$為随機變量$X$與$Y$的相關系數，記作$\rho_{XY}$

2. 公式

$\begin{aligned}\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{E(XY)-EX\cdot EY}{\sqrt{D(X)}\sqrt{D(Y)}}\end{aligned}$

3. 性質

• $|\rho_{XY}|=0\Leftrightarrow$随機變量$X$與$Y$不相關