显著性差异(significant difference),是一个统计学名词。它是统计学(Statistics)上对数据差异性的评价。通常情况下,实验结果达到0.05水平或0.01水平,才可以说数据之间具备了差异显著或是极显著。显著性差异的判断基于p值与预设的显著水准α的比较,当p值小于或等于α时,结果被认为具有统计学意义。
当数据之间具有了显著性差异,就说明参与比对的数据不是来自于同一总体(
种群),而是来自于具有差异的两个不同总体。这种差异可能因参与比对的数据是来自不同实验对象的,或是实验处理对实验对象造成了根本
性状改变,因而前测后测的数据会有显著性差异。
显著性差异的概念可追溯到18世纪,由约翰·阿巴思诺特和皮埃尔-西蒙·拉普拉斯提出。1925年,罗纳德·费雪在《研究工作者的统计方法》一书中提出了统计假设检验的思想,称之为“显著性检验”。费雪建议将1/20(=0.05)的概率作为拒绝虚无假说的一个截断值。1933年,耶日·内曼和埃贡·皮尔逊把这个截断值称为“显著性水平”,并赋予它符号α。费雪最初将显著性水平定为0.05,但他并不打算将这一截断值定死,而是建议根据具体情况确定显著性水平。
显著水准(significance level,符号:α)代表在虚无假说为真时,错误地拒绝虚无假说的几率,即发生型一错误(弃真错误、α错误)的几率。显著水准应当在开始数据收集前就设定,通常习惯设定为5%或更低。如果拒绝“两组数据一致”的零假设,此时有5%的可能性犯第一类错误。数学表述为:引入p值作为检验样本观察值的最低显著水准。在α = 0.01或α = 0.05的条件下,若p值小于α,则可拒绝该零假设。
在作结论时,应确实描述方向性(例如显著大于或显著小于)。sig值通常用 P\u003e0.05 表示差异性不显著;0.01\u003cP\u003c0.05 表示差异性显著;P\u003c0.01表示差异性极显著。当数据之间具备了显著性差异,实验的虚无假设就可被推翻,对立假设得到支持;反之若数据之间不具备显著性差异,则实验的备择假设可以被推翻,虚无假设得到支持。
显著性差异虽然是
统计学中的重要概念,但它并不等同于实际意义。有统计学意义的研究未必就有实际意义。研究人员在报告结果时,应同时给出效应值和p值,以衡量结果的研究意义。此外,统计上显著的结果未必能够轻易重现,特别是一些有显著性差异的结果实际上是
假阳性。