相關性分析名額-Pearson，Spearman，Kendall，Multual information

Pearson’s Correlation Coefficient

介紹

• 基于單調函數衡量兩個變量之間的線性相關性程度
• 資料分布假設：線性假設 和 同方差性假設
• 單調性假設

計算公式

ρXY=cov(X,Y)σXσY

cov(X,Y)=E[(X−μX)(Y−μY)]

代碼實作

a<-c(,,) 
b<-c(,,)
cor.test(a,b,method="pearson")
cor=0.9819805060619659
           

Spearman’s Rank Correlation

介紹

• 非參數測量方法，基于單調函數衡量兩個變量的等級線性相關程度
• 資料分布假設：無
• 單調性假設

計算公式

rs=ρrgXrgY=cov(rgX,rgY)σrgXσrgY

rs=1−6∑ni=1d2in(n2−1)

di=rg(Xi)−rg(Yi)

代碼實作

//賦予a,b向量值
a<-c(,,,)
b<-c(,,,)

//計算spearman相關系數
cor.test(a,b,method="spearman")
rho=-0.4

//用替換後的向量的pearson相關系數進行驗證
e<-c(1,2,3,4)
f<-c(4,1,3,2)
cor.test(e,f,method="pearson")
cor=-0.4
           

Kendall

介紹

也稱作和諧系數,也是一種等級相關系數

計算公式

τ=number of concordant pairs−number ofdiscordant pairsn(n−1)/2

代碼實作

//賦予a,b向量值
a<-c(,,)
b<-c(,,)
//計算kendall相關系數
cor.test(a,b,method="kendall")
tau=0.3333333333
           

Mutual information

介紹

• 衡量兩個變量的依賴程度關系
• 可以是線性和非線性的假設
• 可以是單調和非單調的關系

計算公式

I(X;Y)=

代碼實作

disc=discretize2d(data$x, data$y, numBins1=n, numBins2=n)
mutualInfo=mi.empirical(disc)
           

對比

Multual information 與Pearson 對比

Pearson 與 Spearman 對比

（帶補充）

參考資料

• Mutual Information in R
• 相關性分析 -pearson spearman kendall相關系數
• What is the difference between mutual information and correlation?