在进行显著性检验或假设检验时，有两个数字很容易混淆。这些数字很容易混淆，因为它们都是介于0和1之间的数字，而且都是概率。一个数字称为检验统计量的p值。另一个有趣的数字是显著性水平或α。我们将检查这两种概率，并确定它们之间的差异。

α值

数字alpha是我们测量p值的阈值。它告诉我们，为了拒绝显著性检验的无效假设，观察结果必须是多么极端。

alpha值与我们测试的置信水平相关。以下列出了一些置信度及其相关的α值：

• 对于置信度为90%的结果，alpha值为1-0.90=0.10。
• 对于置信度为95%的结果，α值为1-0.95=0.05。
• 对于置信度为99%的结果，alpha的值为1-0.99=0.01。
• 一般来说，对于置信度为C%的结果，α值为1-C/100。

虽然在理论和实践中，阿尔法可以使用许多数字，但最常用的是0.05。之所以这样做，是因为共识表明，这一水平在许多情况下是合适的，而且从历史上看，它已被接受为标准。但是，在许多情况下，应使用较小的alpha值。没有一个alpha值总是决定统计显著性。

alpha值给出了I型错误的概率。当我们拒绝一个事实上为真的无效假设时，就会发生I型错误。因此，从长远来看，对于显著性水平为0.05=1/20的测试，每20次中就会有一次拒绝真正的无效假设。

p值

作为显著性检验一部分的另一个数字是p值。p值也是一种概率，但它来自不同于alpha的来源。每个检验统计量都有相应的概率或p值。该值是在假设零假设为真的情况下，观察到的统计数据仅偶然发生的概率。

因为有许多不同的测试统计数据，所以有许多不同的方法来找到​p值。在某些情况下，我们需要知道人口的概率分布。​​

检验统计量的p值是表示该统计量对于我们的样本数据有多极端的一种方式。p值越小，观察到的样本越不可能出现。

p值(p-value)和阿尔法(alpha)的区别

为了确定观察到的结果是否具有统计学意义，我们比较了α值和p值。出现了两种可能性：

• p值小于或等于alpha。在这种情况下，我们拒绝了无效假设。当这种情况发生时，我们说结果具有统计学意义。换句话说，我们可以合理地确定，除了偶然性之外，还有其他因素给了我们一个观察样本。
• p值大于alpha。在这种情况下，我们无法拒绝无效假设。当这种情况发生时，我们说结果在统计学上不显著。换言之，我们有理由相信，我们观察到的数据仅凭偶然就能解释。

上述含义是，α值越小，就越难声称结果具有统计显著性。另一方面，alpha值越大，就越容易声称结果具有统计意义。然而，再加上这一点，我们所观察到的更大的可能性可以归因于偶然性。