当前位置：首页 > news >正文

【时间序列分析】斯皮尔曼（Spearman）相关系数理论基础及python代码实现

news 2024/12/17 15:16:40

文章目录

1. 斯皮尔曼相关系数
- 1.1 公式定义
- 1.2 计算过程
- 1.3 计算示例
- 1.4 注意事项（当有重复值时）
2. 优缺点
- 2.1 优点
- 2.2 缺点
3. 适用场景
4. Python代码实现
- 4.1 调用scipy库
5 思考
- 5.1 什么是单调关系？与线性关系的区别是什么？
- 5.2 斯皮尔曼相关系数如何度量单调关系？

1. 斯皮尔曼相关系数

1.1 公式定义

什么是秩相关系数？

秩相关系数（Coefficient of Rank Correlation），又称等级相关系数，反映两个随机变量变化趋势的方向和强度之间的关系。它通过将两个随机变量的样本值按大小顺序排列位次，使用这些位次代替实际数据来计算得出。秩相关系数用于衡量变量间的等级相关程度，常用的等级相关分析方法包括Spearman相关系数和Kendall秩相关系数等。

斯皮尔曼相关系数（Spearman’s Rank Correlation Coefficient）是通过比较两个变量的排名来计算相关性的，而不是直接使用原始值。它的核心思想是，两个变量如果具有单调关系（即随着一个变量的增加，另一个变量也按某种规律增加或减少），那么它们的排名应该是相关的。

斯皮尔曼相关系数的计算公式为：

$R_s = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}$

其中：

$R_s:$ 是斯皮尔曼相关系数
$d_i=R(X_i)-R(Y_i)$ 是第 $i$ 个数据点在 $X$ 和 $Y$ 两个变量的排名差异
$n$ 是数据点的数量
$R(X_i)$ 和 $R(Y_i)$ 分别是 $X$ 和 $Y$ 在第 $i$ 个数据点的排名

取值范围 $[0, 1]$ ：

$R_s =1$ 表示完美的正单调关系，即两个变量的排序完全一致。也就是说，随着一个变量的增大，另一个变量也始终按相同的顺序增大
$R_s =-1$ 表示完美的负单调关系，即两个变量的排序完全相反。也就是说，随着一个变量的增大，另一个变量始终按相反的顺序减小
$R_s =0$ 表示没有单调关系，即两个变量的排名没有任何一致性或依赖性，变化趋势完全独立
$0<R_s<1$ 表示正单调关系，即随着一个变量的增加，另一个变量也倾向于增加，但不一定完全一致
$1<R_s<0$ 表示负单调关系，即随着一个变量的增加，另一个变量倾向于减少，但不一定完全一致

1.2 计算过程

数据排序： 为每个变量分配排名，从最小值 1 开始
计算排名差异： 计算每个数据点在两个变量中的排名差 $d_i=R(X_i)-R(Y_i)$
平方差异： 计算每个排名差异的平方 $d_i^2$
求和： 计算所有 $d_i^2$ 的和 $\sum d_i^2$
代入公式： 将求得的 $\sum d_i^2$ 和数据点的数量 $n$ 代入斯皮尔曼公式中，得到相关系数 $R_s$

1.3 计算示例

假设我们现在有两个变量：

$X = [86, 82, 94, 79, 88]$
$Y = [88, 76, 92, 80, 86]$

按照从小到大排序得到 $R(X_i)$ 和 $R(Y_i)$ ：

$R(X_i)=[3,2,5,1,4]$
$R(Y_i)=[4,1,5,2,3]$

计算 $d_i^2$ 有：

$d_i^2 =[1,1,0,1,1]$

计算斯皮尔曼相关系数 $R_s$ ：

$R_s=1-\frac{6*4}{5*(5^2-1)} =0.8$

1.4 注意事项（当有重复值时）

注意：当有两个或多个相同值时排名是通过分配给重复值的平均排名来处理的。举个例子：

当 $X = [79, 82, 82, 86, 88, 94]$

接着为这些值分配排名：

79 排名 1
82 和 82 是相同的值，排名为 2 和 3，这两个值的排名是 2.5，因为它们共享第 2 和第 3 位，平均排名为 $(2 + 3) /2 = 2.5$
86 排名 4
88 排名 5
94 排名 6

综上所述：
$R(X_i) = [1, 2.5, 2.5 , 4,5 , 6]$

2. 优缺点

2.1 优点

非线性关系： 斯皮尔曼相关系数能够有效捕捉变量之间的单调关系，无论是线性还是非线性
对异常值不敏感： 与皮尔森相关系数不同，斯皮尔曼相关系数对异常值不太敏感，因为它使用的是排名而不是原始数据值
适用范围广： 适用于定序数据或顺序数据（如问卷调查中的满意度等级），并且不要求数据服从正态分布

2.2 缺点

只考虑单调关系： 斯皮尔曼相关系数只能捕捉到单调关系，对于某些不满足单调性的数据，可能不适用
可能丢失信息： 在排名过程中，数据的具体数值被转换为排名，这可能导致丢失部分信息，尤其是当数据变化不大时

3. 适用场景

非线性关系分析： 当你怀疑两个变量之间有单调关系，但不一定是线性关系时，斯皮尔曼相关系数是一个很好的选择
顺序数据： 适用于顺序数据（如等级评分），例如对学生成绩的排名，调查问卷的满意度评分等
对异常值的容忍性： 如果数据集包含一些异常值，且这些异常值会影响到皮尔森相关系数的计算，斯皮尔曼相关系数是一个更稳健的选择

4. Python代码实现

4.1 调用scipy库

import numpy as np
from scipy.stats import spearmanrX = [86,82,94,79,88]
Y = [88,76,92,80,86]# r是斯皮尔曼系数， p 值是用来判断结果是否具有统计显著性的一个指标
r, p = spearmanr(X,Y)
print(r)
print(p)

$r$ ：斯皮尔曼系数
$p$ ： $p$ 值是用来判断结果是否具有统计显著性的一个指标，表示假设检验中观察到的结果或更极端的结果在零假设成立下出现的概率。在皮尔森、斯皮尔曼等相关系数的情况下，p 值用于检验相关性是否显著。
如果 $p$ 值较小（通常小于设定的显著性水平，如 0.05），说明结果具有统计显著性，即我们有足够的证据拒绝零假设（即假设两个变量之间没有关系）
如果 $p$ 值较大（大于显著性水平），则说明结果不显著，即没有足够的证据拒绝零假设，我们无法确认这两个变量之间是否存在显著的线性或单调关系

5 思考

5.1 什么是单调关系？与线性关系的区别是什么？

单调关系（Monotonic Relationship）是指随着一个变量的增加或减少，另一个变量始终按照同样的方向增加或减少，不一定是线性关系。单调关系可以是单调递增（monotonically increasing）或单调递减（monotonically decreasing），而不要求数据的变化遵循直线（线性）规律。

单调关系的定义：

单调递增： 如果 $X$ 增加，那么 $Y$ 也要增加；即 $X_1 < X_2$ 时，必有 $Y_1 <= Y_2$ 它不一定是直线关系，只要求随着 $X$ 增加， $Y$ 也要增加。
单调递减： 如果 $X$ 增加，那么 $Y$ 也要减少；即 $X_1 < X_2$ 时，必有 $Y_1 >= Y_2$
斯皮尔曼相关系数 专门用来度量两个变量之间的单调关系。它假设两个变量之间的关系是单调的，即随着一个变量的变化，另一个变量的排序变化（增加或减少）是保持一致的。然而，单调关系不要求这种关系是线性的。例如，即使关系是曲线（非线性）的，只要随着 $X$ 增加， $Y$ 始终保持增加或减小，斯皮尔曼相关系数仍然能捕捉到这种关系。