|
本文给出的相关系数解释，系数越大说明越相关。 皮尔森相关系数（Pearson correlation coefficient）也叫皮尔森积差相关系数（Pearson product-moment correlation coefficient），是用来反应两个变量相似程度的统计量。或者说可以用来计算两个向量的相似度（在基于向量空间模型的文本分类、用户喜好推荐系统中都有应用）。 皮尔森相关系数计算公式如下：
分子是协方差，分子是两个变量标准差的乘积。显然要求X和Y的标准差都不能为0。 因为
当两个变量的线性关系增强时，相关系数趋于1或-1。正相关时趋于1，负相关时趋于-1。当两个变量独立时相关系统为0，但反之不成立。比如对于
对于居中的数据来说（何谓居中？也就是每个数据减去样本均值，居中后它们的平均值就为0），E(X)=E(Y)=0，此时有：
即相关系数可以看作是两个随机变量中得到的样本集向量之间夹角的cosine函数。 进一步当X和Y向量归一化后，||X||=||Y||=1，相关系数即为两个向量的乘积。 Spearman秩相关系数首先说明秩相关系数还有其他类型，比如kendal秩相关系数。 使用Pearson线性相关系数有2个局限：
对于更一般的情况有其他的一些解决方案，Spearman秩相关系数就是其中一种。Spearman秩相关系数是一种无参数（与分布无关）检验方法，用于度量变量之间联系的强弱。在没有重复数据的情况下，如果一个变量是另外一个变量的严格单调函数，则Spearman秩相关系数就是+1或-1，称变量完全Spearman秩相关。注意这和Pearson完全相关的区别，只有当两变量存在线性关系时，Pearson相关系数才为+1或-1。 对原始数据xi,yi按从大到小排序，记x'i,y'i为原始xi,yi在排序后列表中的位置，x'i,y'i称为xi,yi的秩次，秩次差di=x'i-y'i。Spearman秩相关系数为：
1 12 546 5 1 78 6 1 2 546 45 1 78 46 1 0 3 13 32 4 2 45 5 1 4 45 13 2 46 6 2 0 5 32 12 3 6 2 4 1 6 2 2 6 45 1 3 -3 对于上表数据，算出Spearman秩相关系数为：1-6*(1+1+1+9)/(6*35)=0.6571 查阅秩相关系数检验的临界值表 n 显著水平 0.01 0.05 n=6时，0.6571<0.829，所以在0.01的显著水平下认为X和Y是不相关的。 如何原始数据中有重复值，则在求秩次时要以它们的平均值为准，比如： 0.8 5 5 1.2 4 (4+3)/2=3.5 1.2 3 (4+3)/2=3.5 2.3 2 2 18 1 1 Spearman秩相关系数应该是从秩和检验延伸过来的，因为它们很像。 来学怎样对数据做相关性检验：http://www.laiquliu.com/laixuejishu/js20140411712.html(责任编辑：laiquliu) |
