随機變量的數字特征

文章目錄

• 前言
• 數學期望與方差
• • 一維随機變量的期望和方差
  • • 離散型
    • 連續型
  • 随機變量函數的期望
  • • 離散型
    • 連續型
  • 運算性質
  • 常用随機變量的期望和方差
• 協方差與相關系數
• • 協方差
  • • 什麼是協方差？它和方差有什麼聯系和差別？
    • 為什麼要引入協方差？
    • 協方差所描述的随機變量之間的聯系是什麼？它是如何描述這種關系的？
    • 協方差的運算性質
  • 相關系數
  • • 什麼是相關系數？
    • 相關系數如何描述相關性？
  • 小結

前言

說明

第一篇部落格，主要内容是自己在學習機率論時的總結。

參考書籍：程式員的數學2by平岡和幸 / 堀玄

幾個概念

随機變量：是實驗結果的一個實值函數，用以數值化描述試驗結果。

随機變量的分布列（或機率密度函數）：精确地給出随機變量的取值和機率分布的規律。

随機變量的數字特征：用數值描述随機變量的某些特征。

數學期望與方差

一維随機變量的期望和方差

離散型

X X X是一維離散型随機變量， X X X的所有可能取值為 x 1 , x 2 , . . . , x m x_1,x_2,...,x_m x1​,x2​,...,xm​，對應的機率為 p 1 , p 2 , . . . , p m p_1,p_2,...,p_m p1​,p2​,...,pm​。用 E ( X ) E(X) E(X)表示 X X X的期望,用 D ( X ) D(X) D(X)表示 X X X的方差。

E ( X ) = ∑ i = 0 m p i x i D ( X ) = ∑ i = 0 m p i ( x i − E ( X ) ) 2 = E ( X − E ( X ) ) 2 E(X)=\sum_{i=0}^mp_ix_i\\ D(X)=\sum_{i=0}^mp_i(x_i-E(X))^2=E(X-E(X))^2 E(X)=i=0∑m​pi​xi​D(X)=i=0∑m​pi​(xi​−E(X))2=E(X−E(X))2

連續型

X X X是一維連續型随機變量，其機率密度函數為 f ( x ) f(x) f(x)。

E ( X ) = ∫ − ∞ + ∞ x f ( x ) d x D ( X ) = ∫ − ∞ + ∞ ( x − E ( X ) ) 2 f ( x ) d x = E ( X − E ( X ) ) 2 E(X)=\int_{-\infty}^{+\infty}xf(x)dx \\ D(X)=\int_{-\infty}^{+\infty}(x-E(X))^2f(x)dx=E(X-E(X))^2 E(X)=∫−∞+∞​xf(x)dxD(X)=∫−∞+∞​(x−E(X))2f(x)dx=E(X−E(X))2

随機變量函數的期望

此處均以二維随機變量函數為例。

離散型

（ X , Y ） （X,Y） （X,Y）是二維離散型随機變量， ( X , Y ) (X,Y) (X,Y)的分布列為 P { X = x i , Y = y j } = p i j , i , j = 1 , 2 , 3... P\{X=x_i,Y=y_j\}=p_{ij},i,j=1,2,3... P{X=xi​,Y=yj​}=pij​,i,j=1,2,3...。 Z Z Z是 （ X , Y ） （X,Y） （X,Y）的函數，滿足 Z = g （ X , Y ） Z=g（X,Y） Z=g（X,Y）。可以給出 Z Z Z的期望：

E ( Z ) = E ( g ( X , Y ) ) = ∑ i ∑ j g ( x i , y j ) p i j E(Z)=E(g(X,Y))=\sum_i\sum_jg(x_i,y_j)p_{ij} E(Z)=E(g(X,Y))=i∑​j∑​g(xi​,yj​)pij​

連續型

（ X , Y ） （X,Y） （X,Y）是二維連續型随機變量， （ X , Y ） （X,Y） （X,Y）的機率密度函數為 f ( x , y ) f(x,y) f(x,y)。 Z = g ( X , Y ) Z=g(X,Y) Z=g(X,Y)， g ( x , y ) g(x,y) g(x,y)是連續函數。可以給出 Z Z Z的期望：

E ( Z ) = E ( g ( X , Y ) ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) f ( x , y ) d x d y E(Z)=E(g(X,Y))=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)dxdy E(Z)=E(g(X,Y))=∫−∞+∞​∫−∞+∞​g(x,y)f(x,y)dxdy

運算性質

期望

E ( a X + b ) = a E ( X ) + b 若 X , Y 獨 立 ， 則 E ( X Y ) = E ( X ) E ( Y ) E(aX+b)=aE(X)+b \\ 若X,Y獨立，則E(XY)=E(X)E(Y) E(aX+b)=aE(X)+b若X,Y獨立，則E(XY)=E(X)E(Y)

方差

D ( X ) = E X 2 − ( E X ) 2 D ( a X + b ) = a 2 D ( X ) 若 X ， Y 獨 立 ， 則 D ( X + Y ) = D ( X ) + D ( Y ) D(X)=EX^2-(EX)^2 \\ D(aX+b)=a^2D(X) \\ 若X，Y獨立，則D(X+Y)=D(X)+D(Y) D(X)=EX2−(EX)2D(aX+b)=a2D(X)若X，Y獨立，則D(X+Y)=D(X)+D(Y)

常用随機變量的期望和方差

伯努利分布

X	1
P	p	1-p

也可以看作二項分布的特殊情況，此時 X X X~ B ( 1 , p ) B(1,p) B(1,p)

E ( X ) = p D ( X ) = p ( 1 − p ) E(X)=p \\ D(X)=p(1-p) E(X)=pD(X)=p(1−p)

二項分布 X X X~ B ( n , p ) B(n,p) B(n,p)

E ( X ) = n p D ( X ) = n p ( 1 − p ) E(X)=np \\ D(X)=np(1-p) E(X)=npD(X)=np(1−p)

泊松分布 X X X~ P ( λ ) P(\lambda) P(λ)

P ( X = k ) = λ k k ! e − λ , k = 0 , 1 , . . . P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},k=0,1,... P(X=k)=k!λk​e−λ,k=0,1,...

E ( X ) = λ D ( X ) = λ E(X)=\lambda \\ D(X)=\lambda E(X)=λD(X)=λ

均勻分布 X X X~ U [ a , b ] U[a,b] U[a,b]

E ( X ) = a + b 2 D ( X ) = ( b − a ) 2 12 E(X)=\frac{a+b}{2} \\ D(X)=\frac{(b-a)^2}{12} E(X)=2a+b​D(X)=12(b−a)2​

指數分布 X X X~ E ( β ) E(\beta) E(β)

f ( x ) = { β e − β x x > 0 0 x < = 0 f(x)=\begin{cases} \beta e^{-\beta x} & x>0 \\ 0 & x<=0 \end{cases} f(x)={βe−βx0​x>0x<=0​

E ( X ) = 1 β D ( X ) = 1 β 2 E(X)=\frac{1}{\beta} \\ D(X)=\frac{1}{\beta^2} E(X)=β1​D(X)=β21​

正态分布 X X X~ N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)

E ( X ) = μ D ( X ) = σ 2 E(X)=\mu \\ D(X)=\sigma^2 E(X)=μD(X)=σ2

協方差與相關系數

協方差

什麼是協方差？它和方差有什麼聯系和差別？

對于一個一維随機變量 X X X，我們定義了它的方差 D ( X ) = E ( X − E X ) 2 D(X)=E(X-EX)^2 D(X)=E(X−EX)2。為了與協方差在形式上作出比較，可以把方差寫成 D ( X ) = E ( X − E X ) ( X − E X ) D(X)=E(X-EX)(X-EX) D(X)=E(X−EX)(X−EX)。

而對于更高次元随機變量而言，我們才引入了協方差這一數字特征。以最常用的二維随機變量 ( X , Y ) (X,Y) (X,Y)為例，協方差定義為

C o v ( X , Y ) = E ( X − E X ) ( Y − E Y ) Cov(X,Y)=E(X-EX)(Y-EY) Cov(X,Y)=E(X−EX)(Y−EY)

根據期望的性質，上式也可以化為更易于計算的形式：

C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y)=E(XY)-E(X)E(Y) Cov(X,Y)=E(XY)−E(X)E(Y)

根據期望的定義，可以推導出協方差的計算公式

離散型随機變量：

C o v ( X , Y ) = ∑ i ∑ j ( x i − E X ) ( y j − E Y ) p i j = ∑ i ∑ j x i y j p i j − E ( X ) E ( Y ) \begin{aligned} Cov(X,Y)&=\sum_i\sum_j(x_i-EX)(y_j-EY)p_{ij}\\ &=\sum_i\sum_jx_iy_jp_{ij}-E(X)E(Y) \end{aligned} Cov(X,Y)​=i∑​j∑​(xi​−EX)(yj​−EY)pij​=i∑​j∑​xi​yj​pij​−E(X)E(Y)​

連續型随機變量：

C o v ( X , Y ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ ( x − E X ) ( y − E Y ) f X , Y ( x , y ) d x d y = ∫ − ∞ + ∞ ∫ − ∞ + ∞ x y d x d y − E ( X ) E ( Y ) \begin{aligned} Cov(X,Y)&=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-EX)(y-EY)f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y\\ &=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xy\mathrm{d}x\mathrm{d}y-E(X)E(Y) \end{aligned} Cov(X,Y)​=∫−∞+∞​∫−∞+∞​(x−EX)(y−EY)fX,Y​(x,y)dxdy=∫−∞+∞​∫−∞+∞​xydxdy−E(X)E(Y)​

協方差(Covariance)：對二維随機變量 ( X , Y ) (X,Y) (X,Y)， C o v ( X , Y ) = E ( X − E X ) ( Y − E Y ) Cov(X,Y)=E(X-EX)(Y-EY) Cov(X,Y)=E(X−EX)(Y−EY)

從形式上看，協方差可視為方差的擴充。

為什麼要引入協方差？

對于二維随機變量 ( X , Y ) (X,Y) (X,Y)，使用方差 D ( X ) D(X) D(X)、 D ( Y ) D(Y) D(Y)僅能描述 X X X與 Y Y Y各自離開平均值的偏離程度。

如果我們想要數值化地描述 X X X與 Y Y Y之間的聯系，就需要引入新的數字特征。協方差，就是我們引入的用以描述 X X X與 Y Y Y之間聯系的數字特征。

引入協方差，是為了描述随機變量之間的某種聯系。

數字特征	方差	協方差
随機變量	一維随機變量 X X X	二維随機變量 ( X , Y ) (X,Y) (X,Y)
定義	D ( X ) = E ( X − E X ) ( X − E X ) D(X)=E(X-EX)(X-EX) D(X)=E(X−EX)(X−EX)	C o v ( X , Y ) = E ( X − E X ) ( Y − E Y ) Cov(X,Y)=E(X-EX)(Y-EY) Cov(X,Y)=E(X−EX)(Y−EY)
作用	描述随機變量 X X X偏離平均值的程度	描述随機變量 X X X與 Y Y Y之間的聯系（一定程度上）

協方差所描述的随機變量之間的聯系是什麼？它是如何描述這種關系的？

考慮離散型二維随機變量 ( X , Y ) (X,Y) (X,Y)，我們可以使用平面坐标系上的圖像表示它的分布情況。

我們可以發現，當 C o v ( X , Y ) > 0 Cov(X,Y)>0 Cov(X,Y)>0時， X X X取值增大時， Y Y Y也傾向于增大。

當 C o v ( X , Y ) < 0 Cov(X,Y)<0 Cov(X,Y)<0時， X X X取值增大時， Y Y Y卻傾向于減小。

我們可以把這種聯系稱為相關性。

把 C o v ( X , Y ) > 0 Cov(X,Y)>0 Cov(X,Y)>0的情況稱為正相關，把 C o v ( X , Y ) < 0 Cov(X,Y)<0 Cov(X,Y)<0的情況稱為負相關。

當 C o v ( X , Y ) = 0 Cov(X,Y)=0 Cov(X,Y)=0時，就不存在這種聯系，稱 X X X與 Y Y Y不相關。

**注：**相關性與獨立性的關系是怎樣的？

**eg：**考慮二維随機變量 ( X , Y ) (X,Y) (X,Y)，其取值為 ( 1 , 0 ) , ( 0 , 1 ) , ( − 1 , 0 ) , ( 0 , − 1 ) (1,0),(0,1),(-1,0),(0,-1) (1,0),(0,1),(−1,0),(0,−1)，取值機率均為 1 4 \frac{1}{4} 41​。

協方差 C o v ( X , Y ) = 1 4 × 1 × 0 + 1 4 × ( − 1 ) × 0 + 1 4 × 0 × 1 + 1 4 × 0 × ( − 1 ) = 0 Cov(X,Y)=\frac{1}{4}\times1\times0+\frac{1}{4}\times(-1)\times0+\frac{1}{4}\times0\times1+\frac{1}{4}\times0\times(-1)=0 Cov(X,Y)=41​×1×0+41​×(−1)×0+41​×0×1+41​×0×(−1)=0，說明 ( X , Y ) (X,Y) (X,Y)不相關。

但顯然 X X X與 Y Y Y滿足 x 2 + y 2 = 1 x^2+y^2=1 x2+y2=1，是以 X X X與 Y Y Y不獨立。

獨立性針對的是任何關聯，而相關性僅是衆多關聯中的一種。

**結論：**獨立可推出不相關，不相關不能推出獨立。

協方差的正負，反應了 X X X與 Y Y Y之間的相關性。那麼協方差的大小能否反應這種相關性的強弱呢？

從圖中我們可以看到，協方差的大小并不能反映出相關性的強弱。要想更加細緻地描述相關性，僅憑協方差這一數字特征是不夠的。

相關性

協方差的正負可描述正相關與負相關，但協方差的大小不能反映相關性的強弱。

協方差的運算性質

C o v ( X , Y ) = C o v ( Y , X ) C o v ( a X , b Y ) = a b C o v ( X , Y ) C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) D ( X ± Y ) = D X + D Y ± 2 C o v ( X , Y ) Cov(X,Y)=Cov(Y,X)\\ Cov(aX,bY)=abCov(X,Y)\\ Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\\ D(X\pm Y)=DX+DY\pm 2Cov(X,Y) Cov(X,Y)=Cov(Y,X)Cov(aX,bY)=abCov(X,Y)Cov(X1​+X2​,Y)=Cov(X1​,Y)+Cov(X2​,Y)D(X±Y)=DX+DY±2Cov(X,Y)

相關系數

什麼是相關系數？

相關系數的定義式為

ρ X Y = C o v ( X , Y ) D X D Y \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}} ρXY​=DX

​DY

​Cov(X,Y)​

我們還可以從内積的角度來了解相關系數。

**eg：**考慮離散型二維随機變量 ( X , Y ) (X,Y) (X,Y)，其取值為 ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) (x_1,y_1),(x_2,y_2),...,(x_n,y_n) (x1​,y1​),(x2​,y2​),...,(xn​,yn​)，每種取值機率依次為 p 1 , p 2 , . . . , p n p_1,p_2,...,p_n p1​,p2​,...,pn​。

設 E X = μ , E Y = ν EX=\mu,EY=\nu EX=μ,EY=ν， n n n維向量 a ⃗ = ( a 1 a 2 . . . a n ) , b ⃗ = ( b 1 b 2 . . . b n ) \vec{a}=\left(\begin{array}{c}a_1\\a_2\\...\\a_n\end{array}\right),\vec{b}=\left(\begin{array}{c}b_1\\b_2\\...\\b_n\end{array}\right) a

=⎝⎜⎜⎛​a1​a2​...an​​⎠⎟⎟⎞​,b

=⎝⎜⎜⎛​b1​b2​...bn​​⎠⎟⎟⎞​，其中 a i = p i ( x i − μ ) , b i = p i ( y i − ν ) a_i=\sqrt{p_i}(x_i-\mu),b_i=\sqrt{p_i}(y_i-\nu) ai​=pi​

​(xi​−μ),bi​=pi​

​(yi​−ν)。

a ⃗ ⋅ b ⃗ ∣ a ⃗ ∣ ∣ b ⃗ ∣ = ∑ i a i b i ∑ i a i 2 ∑ i b i 2 = ∑ i p i ( x i − μ ) ( y i − ν ) ∑ i p i ( x i − μ ) 2 ∑ i p i ( y i − ν ) 2 = ρ X Y \frac{\vec{a}\cdot\vec{b}}{|\vec{a}||\vec{b}|}=\frac{\sum_ia_ib_i}{\sqrt{\sum_ia_i^2}\sqrt{\sum_ib_i^2}}=\frac{\sum_ip_i(x_i-\mu)(y_i-\nu)}{\sqrt{\sum_ip_i(x_i-\mu)^2}\sqrt{\sum_ip_i(y_i-\nu)^2}}=\rho_{XY} ∣a

∣∣b

∣a

⋅b

​=∑i​ai2​

​∑i​bi2​

​∑i​ai​bi​​=∑i​pi​(xi​−μ)2

​∑i​pi​(yi​−ν)2

​∑i​pi​(xi​−μ)(yi​−ν)​=ρXY​

相關系數如何描述相關性？

符号：相關系數為正，正相關；相關系數為負，負相關。

大小： ∣ ρ X , Y ∣ < = 1 |\rho_{X,Y}|<=1 ∣ρX,Y​∣<=1，其絕對值越接近 1 1 1，相關性越強， ( X , Y ) (X,Y) (X,Y)圖像越接近于一條直線。 ρ = 0 \rho=0 ρ=0時， X X X與 Y Y Y互相獨立，不相關。

小結

協方差與相關系數均可用來描述随機變量之間的某種聯系，我們稱之為相關性。更具體地說，是一種線性相關性。随機變量之間如果不相關，仍有可能不獨立，而具有其它的某種聯系，這時就無法僅用協方差和相關系數來判斷，還需要使用其他方法研究。