假设存在 X1,X2,X3,…,Xn. n组对比参数，则有以下信息：

I: KL散度、JS散度以及交叉熵对比

1) Kl-div（KL散度）：

1、简介

KL散度（Kullback–Leibler divergence）又称KL距离，相对熵。(数值归一化处理)

当P(x)和Q(x)的相似度越高，KL散度越小。

KL散度主要有两个性质：

（1）不对称性

尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即D(P||Q)!=D(Q||P)。

（2）非负性

相对熵的值是非负值，即D(P||Q)>0。

2) JS散度(Jensen-Shannon divergence)：

S散度也称JS距离，是KL散度的一种变形。

但是不同于KL主要又两方面：

（1）值域范围

JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。

（2）对称性

即 JS(P||Q)=JS(Q||P)，从数学表达式中就可以看出。

3) 交叉熵（Cross Entropy）

在神经网络中，交叉熵可以作为损失函数，因为它可以衡量P和Q的相似性

交叉熵和相对熵的关系：

以上都是基于离散分布的概率，如果是连续的数据，则需要对数据进行Probability Density Estimate来确定数据的概率分布，就不是求和而是通过求积分的形式进行计算了。

II. Spearman Rank（斯皮尔曼等级）相关系数：

1、简介

在统计学中，斯皮尔曼等级相关系数以Charles Spearman命名，并经常用希腊字母ρ（rho）表示其值。斯皮尔曼等级相关系数用来估计两个变量X、Y之间的相关性，其中变量间的相关性可以使用单调函数来描述。如果两个变量取值的两个集合中均不存在相同的两个元素，那么，当其中一个变量可以表示为另一个变量的很好的单调函数时（即两个变量的变化趋势相同），两个变量之间的ρ可以达到+1或-1。

假设两个随机变量分别为X、Y（也可以看作两个集合），它们的元素个数均为N，两个随即变量取的第i（1<=i<=N）个值分别用Xi、Yi表示。对X、Y进行排序（同时为升序或降序），得到两个元素排行集合x、y，其中元素xi、yi分别为Xi在X中的排行以及Yi在Y中的排行。将集合x、y中的元素对应相减得到一个排行差分集合d，其中di=xi-yi，1<=i<=N。随机变量X、Y之间的斯皮尔曼等级相关系数可以由x、y或者d计算得到，其计算方式如下所示：

由排行差分集合d计算而得（公式一）：

由排行集合x、y计算而得（斯皮尔曼等级相关系数同时也被认为是经过排行的两个随即变量的皮尔逊相关系数，以下实际是计算x、y的皮尔逊相关系数）（公式二）

2、适用范围

斯皮尔曼等级相关系数对数据条件的要求没有皮尔逊相关系数严格，只要两个变量的观测值是成对的等级评定资料，或者是由连续变量观测资料转化得到的等级资料，不论两个变量的总体分布形态、样本容量的大小如何，都可以用斯皮尔曼等级相关系数来进行研究。

III. Pearson(皮尔逊)相关系数

1、简介

在统计学中，皮尔逊相关也称为积差相关（或积矩相关）是英国统计学家皮尔逊于20世纪提出的一种计算直线相关的方法。

假设有两个变量X、Y，那么两变量间的皮尔逊相关系数可通过以下公式计算：

2、适用范围

斯皮尔曼当两个变量的标准差都不为零时，相关系数才有定义，皮尔逊相关系数适用于：

(1)、两个变量之间是线性关系，都是连续数据。

(2)、两个变量的总体是正态分布，或接近正态的单峰分布。

(3)、两个变量的观测值是成对的，每对观测值之间相互独立。

IV. Kendall Rank(肯德尔等级)相关系数

1、简介

在统计学中，肯德尔相关系数是以Maurice Kendall命名的，并经常用希腊字母τ（tau）表示其值。肯德尔相关系数是一个用来测量两个随机变量相关性的统计值。一个肯德尔检验是一个无参数假设检验，它使用计算而得的相关系数去检验两个随机变量的统计依赖性。肯德尔相关系数的取值范围在-1到1之间，当τ为1时，表示两个随机变量拥有一致的等级相关性；当τ为-1时，表示两个随机变量拥有完全相反的等级相关性；当τ为0时，表示两个随机变量是相互独立的。

假设两个随机变量分别为X、Y（也可以看做两个集合），它们的元素个数均为N，两个随即变量取的第i（1<=i<=N）个值分别用Xi、Yi表示。X与Y中的对应元素组成一个元素对集合XY，其包含的元素为(Xi, Yi)（1<=i<=N）。当集合XY中任意两个元素(Xi, Yi)与(Xj, Yj)的排行相同时（也就是说当出现情况1或2时；情况1：Xi>Xj且Yi>Yj，情况2：Xi<Xj且Yi<Yj），这两个元素就被认为是一致的。当出现情况3或4时（情况3：Xi>Xj且Yi<Yj，情况4：Xi<Xj且Yi>Yj），这两个元素被认为是不一致的。当出现情况5或6时（情况5：Xi=Xj，情况6：Yi=Yj），这两个元素既不是一致的也不是不一致的。

这里有三个公式计算肯德尔相关系数的值:

备注1:其中C表示XY中拥有一致性的元素对数（两个元素为一对）；D表示XY中拥有不一致性的元素对数。注意：这一公式仅适用于集合X与Y中均不存在相同元素的情况（集合中各个元素唯一）

备注2: 这一公式适用于集合X或Y中存在相同元素的情况（当然，如果X或Y中均不存在相同的元素时，公式二便等同于公式一）.其中C、D与公式一中相同；

N1、N2分别是针对集合X、Y计算的，现在以计算N1为例，给出N1的由来（N2的计算可以类推）：将X中的相同元素分别组合成小集合，s表示集合X中拥有的小集合数（例如X包含元素：1 2 3 4 3 3 2，那么这里得到的s则为2，因为只有2、3有相同元素），Ui表示第i个小集合所包含的元素数。N2在集合Y的基础上计算而得。

备注3:注意：这一公式中没有再考虑集合X、或Y中存在相同元素给最后的统计值带来的影响。公式三的这一计算形式仅适用于用表格表示的随机变量X、Y之间相关系数的计算（下面将会介绍）

2、适用范围 : 肯德尔相关系数与斯皮尔曼相关系数对数据条件的要求相同;

V. Pearson，Kendall和Spearman三种相关分析方法的异同

1) 两个连续变量间呈线性相关时，使用 Pearson 积差相关系数，不满足积差相关分析的适用条件时，使用Spearman秩相关系数来描述.

Spearman 相关系数又称秩相关系数，是利用两变量的秩次大小作线性相关分析，对原始变量的分布不作要求，属于非参数统计方法，适用范围要广些。对于服从 Pearson 相关系数的数据亦可计算Spearman相关系数，但统计效能要低一些。 Pearson 相关系数的计算公式可以完全套用Spearman相关系数计算公式，但公式中的x和y用相应的秩次代替即可。

Kendall's tau-b等级相关系数：用于反映分类变量相关性的指标，适用于两个分类变量均为有序分类的情况。对相关的有序变量进行非参数相关检验；取值范围在-1-1之间，此检验适合于正方形表格；

2) 计算积距 Pearson 相关系数，连续性变量才可采用;计算Spearman秩相关系数，适合于定序变量或不满足正态分布假设的等间隔数据; 计算Kendall秩相关系数，适合于定序变量或不满足正态分布假设的等间隔数据。

3) 计算相关系数：当资料不服从双变量正态分布或总体分布未知，或原始数据用等级表示时，宜用 spearman或kendall相关

Pearson 相关复选项积差相关计算连续变量或是等间距测度的变量间的相关分析

Kendall 相关复选项等级相关计算分类变量间的秩相关，适用于合并等级资料

Spearman 相关复选项等级相关计算斯皮尔曼相关，适用于连续等级资料

注：

1若非等间距测度的连续变量因为分布不明-可用等级相关/也可用 Pearson 相关，对于完全等级离散变量必用等级相关

2当资料不服从双变量正态分布或总体分布型未知或原始数据是用等级表示时,宜用 Spearman 或 Kendall相关。

3 若不恰当用了Kendall 等级相关分析则可能得出相关系数偏小的结论。则若不恰当使用，可能得相关系数偏小或偏大结论而考察不到不同变量间存在的密切关系。对一般情况默认数据服从正态分布的，故用 Pearson 分析方法。

Spearman（斯伯曼/斯皮尔曼）相关系数

斯皮尔曼等级相关是根据等级资料研究两个变量间相关关系的方法。它是依据两列成对等级的各对等级数之差来进行计算的，所以又称为“等级差数法”

斯皮尔曼等级相关对数据条件的要求没有积差相关系数严格，只要两个变量的观测值是成对的等级评定资料，或者是由连续变量观测资料转化得到的等级资料，不论两个变量的总体分布形态、样本容量的大小如何，都可以用斯皮尔曼等级相关来进行研究。

Kendall's 相关系数

肯德尔(Kendall)W系数又称和谐系数，是表示多列等级变量相关程度的一种方法。适用这种方法的数据资料一般是采用等级评定的方法收集的，即让K个评委（被试）评定N件事物，或1个评委（被试）先后K次评定N件事物。等级评定法每个评价者对N件事物排出一个等级顺序，最小的等级序数为1 ，最大的为N，若并列等级时，则平分共同应该占据的等级，如，平时所说的两个并列第一名，他们应该占据1，2名，所以它们的等级应是1.5,又如一个第一名，两个并列第二名，三个并列第三名，则它们对应的等级应该是1,2.5,2.5,5,5,5,这里2.5是2,3的平均，5是4,5,6的平均。

肯德尔(Kendall)U系数又称一致性系数，是表示多列等级变量相关程度的一种方法。该方法同样适用于让K个评委（被试）评定N件事物，或1个评委（被试）先后K次评定N件事物所得的数据资料，只不过评定时采用对偶评定的方法，即每一次评定都要将N个事物两两比较，评定结果如下表所示，表格中空白位（阴影部分可以不管）填入的数据为：若i比j好记1，若i比j差记0，两者相同则记0.5。一共将得到K张这样的表格，将这K张表格重叠起来，对应位置的数据累加起来作为最后进行计算的数据，这些数据记为γij。

正态分布的相关检验

对来自正态总体的两个样本进行均值比较常使用T检验的方法。T检验要求两个被比较的样本来自正态总体。两个样本方差相等与不等时用的计算T值的公式不同。

进行方差齐次性检验使用F检验。对应的零假设是：两组样本方差相等。P值小于0.05说明在该水平上否定原假设，方差不齐；否则两组方差无显著性差异。

U检验时用服从正态分布的检验量去检验总体均值差异情况的方法。在这种情况下总体方差通常是已知的。

虽然T检验法与U检验法所解决的问题大体相同，但在小样本（样本数n）=30作为大样本）且均方差未知的情况下就不能用U检验法了。

均值检验时不同的数据使用不同的统计量

使用MEANS过程求若干组的描述统计量，目的在于比较。因此必须分组求均值。这是与Descriptives过程不同之处。

检验单个变量的均值是否与给定的常数之间存在差异，用One-Sample T Test 单样本T检验过程。

检验两个不相关的样本是否来自来具有相同均值的总体，用Independent-Samples T test 独立样本t检验过程。

如果分组样本不独立，用Paired Sample T test 配对t检验。

如果分组不止两个，应使用One-Way ANOVO一元方差分析（用于检验几个独立的组，是否来自均值相等的总体）过程进行单变量方差分析。

如果试图比较的变量明显不服从正态分布，则应该考虑使用一种非参数检验过程Nonparametric test.