天天看点

一文读懂方差分析统计学中的LSD与HSD,让统计变得更简单

统计思维有朝一日将成为像阅读和写作一样成为高效公民的必要能力

——H.G.威尔斯

以前,当我在P.G.做研究员的时候,我每天都会遇到很多统计计算问题,但是像P.G.这样有着深厚历史的公司,有一系列系统化、标准化的方法和流程,拿简单的AB测试,每次都会把实验结果放进预定的模板工具中, 该工具会自动计算出相应的结果和显著性的差异,而在这个过程中我遇到的最多的统计都是LSD和HSD值,这使得整个统计计算过程清晰,而我与统计学的关系也是基于对这两个统计的研究,让我对统计魅力有了更多的了解, 为此,我系统地学习了统计学。

一文读懂方差分析统计学中的LSD与HSD,让统计变得更简单

让我在下面的假设检验中详细描述这两个统计数据的具体含义和场景。

LSD被称为最小显着差异,英语是统计学家Fisher提出的List显着差异。很多人推测HSD是最高显著性差异,否则,它的真实英文名称是Homestly Significant,翻译过来称之为真显著性差异,最初是土耳其提出的,后来由克莱默改进的,条件更广,但也被更多的人所接受。

在我们开始之前,让我们回顾一下下面的差分分析,这两个值实际上是针对方差分析服务的。通俗地说,方差分析,可以称为归因分析,是从方差的角度分析事件的原因。比如,我拿A、B、C、D四个产品做消费者测试,得到一个消费者评价结果,那么为什么结果会这样,需要分析哪些因素会影响最终结果。"首先,不同的产品可能产生不同的测试结果(加工效果),其次,即使使用相同的产品,消费者的评估结果也可能有所不同,这是一个随机误差(随机效应)。在统计学中,这种效应或误差通常以平方和表示:

整个数据的误差平方和称为平方和 SST(总平方和),

不同乘积之间误差大小的平方和称为误差平方和SSA之和(处理平方和,反应因子A对观测数据的影响),

反应随机误差大小的平方和变为误差平方和(误差的平方和)。

三者之间的关系是:

一文读懂方差分析统计学中的LSD与HSD,让统计变得更简单

所以方差分析的基本原理是找到原因,即看总误差中是否存在任何处理误差。如果加工错误对整体误差没有显著影响(不同产品的消费者评分相同),则表示不存在加工错误,即表示消费者对每种产品的评价没有显著差异。相反,如果存在一个产品,则产品之间至少存在一个显著差异,并且可以执行以下假设检验:

最初的假设是H0:uA-uB-uC-uD;

替代假设H1:uA,uB,uC,uD并不都是相等的。

按照我们在假设检验中讨论的步骤,下一步是确定检验统计量,这些统计量在单因子方差分析中构造为(F 值):

一文读懂方差分析统计学中的LSD与HSD,让统计变得更简单

对于具体的计算,这里不做扩充,只是从原则的角度让大家理解。最后,可以根据 F 的 P 值做出决定。

此时我们已经完成了效果测试,我们可以判断不同的产品是否对消费者评价有显著影响。但其实这个结论离我们的目标还很远,它只能告诉我们产品之间是否存在差异,而不能告诉我们哪些产品存在或者没有区别,也就是说,我们经常想看看不同产品之间是否存在差异,上面的测试无法给出答案, 所以我们还需要比较不同的产品,这是多重比较,就是通过均值的匹配测试来发现哪些产品有显著的差异。

有两种常见的多重比较方法,这是我们文章的主要特征:LSD和HSD

研究人员提前计划比较一对或多对手段。例如,我希望看到消费者对A和B产品的偏好,可以选择LSD进行假设检验。LSD 基于 t 分布,假设检验的基本步骤是:

做出假设

H0:uA-uB(乘积 A 的均值等于乘积 B 的均值)

H1:uA-/uB(乘积 A 的均值不等于乘积 B 的均值)

2. 计算测试统计量:Xi平均值-Xj平均值

3. 计算LSD:

一文读懂方差分析统计学中的LSD与HSD,让统计变得更简单

4. 做出决定。将差异与LSD的大小进行比较,以确定是否否定原始假设。

多重比较不是预先计划的,但在方差分析否定原始假设后,将比较任意两个过程的均值。也就是说,识别产品的差异会导致不同的消费者评价,然后分析哪两种产品不同。该方法最初由Jones W. Tukey提出,土耳其的HSD方法要求每个过程具有相同的样本量,当样本量不同时不再适用。C.K. Kramer后来对其进行了修改,以适用于具有不同样本量的情况。

HSD方法不是基于t分布,而是基于学生化极化分布,它由两个参数I和(N-I)组成,它们被标记为qa(I,N-I),其学生化极性分布的I和(N-I)自由度为1-a。这里没有给出具体的计算公式,可以通过软件计算,测试原理与LSD相同,只要计算HSD,就可以将HSD与两种加工手段之间差值的绝对值进行比较,做出决策。以上是方差分析中多重比较的全部内容。关键是我们应该清楚地分析原则和思想。随后将对多种因素进行方法分析,并分析互动的必要性。事实上,这个想法是一样的。了解以上,后者会比较容易理解。

以上是对LSD和HSD的完整说明,在方差分析中占据重要地位,在实际业务场景中得到了广泛的应用。喜欢统计或数据分析方向的学生欢迎留言关注,共同学习和进步。