天天看点

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

简介

斯皮尔曼等级相关系数(简称等级相关系数,或称秩相关系数,英语:Spearman's rank correlation coefficient或Spearman's ρ)。一般用

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

或者

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

表示。它是衡量两个变量的相关性的无母数指标。它利用单调函数评价两个统计变量的相关性。若数据中没有重复值,且当两变量完全单调相关时,斯皮尔曼相关系数为+1或−1,而且

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

位于-1到1之间。

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

如图所示。

更常用的一般为这个公式,但是比较麻烦。一般我们直接调用scipy.stats.spearman()直接调用。

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

备注:当所有的等级数值都为整数时,可以通过以下简单的公式计算等级相关系数。

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

斯皮尔曼(等级)系数主要是针对X,Y两个变量求相关性。

适用范围

  1. 用于当数据不满足下列条件任意一个(线性关系,连续数据,正态分布)的时候
  1. 当数据为定序数据的时候

定序数据为反应登记的数据,代表了某种逻辑顺序,而且属于品质数据,(甲,乙,丙)(优,良,差)等类型都可以称为定序数据。

补充spearman系数数据排序

备注:如果变量数据相同的话,我们采取依次顺序排序,相同数值取位置的平均值。

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

具体代码

import numpy as np
import pandas as pd
import scipy.stats as stats
def calculate_spearman_correlation(X, Y):
    return stats.spearmanr(X, Y)[0]
def calculate_spearman_correlation_p(X, Y):
    return stats.spearmanr(X, Y)[1]
if __name__=='__main__':
    x = [1, 2, 3, 4, 5, 6, 7, 8, 9]
    y = [2, 1, 2, 4.5, 7, 6.5, 6, 9, 9.5]
    print(calculate_spearman_correlation_p(x, y))
    print(calculate_spearman_correlation(x, y))
           

spearman检验

小样本检验(n<30)

在一般情况下,我们通过直接适用查表的方式进行验证,即为spearman系数要大于表中对应的临界值。即为我们认为我们的相关系数大于表中的临界值,我们认为相关系数是有显著性差异的,即为有相关性而且相关性不为0。

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

大样本检验(n>30)

在一般情况下,我们通过构造统计量进行假设检验,假设检验如图,而且在统计量

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

,如果统计量

斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

符合正态分布,具体公式如图所示。

H0:
斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验
H1:
斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验
斯皮尔曼(spearman)相关系数python代码实现简介适用范围补充spearman系数数据排序具体代码spearman检验

(构造的统计量符合正态分布)

计算p值,如果p值大于0.05,即为证明有显著差异。即为有相关性,相关系数不为0。

求P值代码

def calculate_spearman_correlation_p(X, Y):
    return stats.spearmanr(X, Y)[1]
           

继续阅读