什么是逐步回归(stepwise regression)？

逐步回归是逐步迭代构建回归模型的过程，包括选择用于最终模型的自变量。它包括连续添加或删除潜在的解释变量，并在每次迭代后检验统计显著性。

统计软件包的可用性使得逐步回归成为可能，即使在具有数百个变量的模型中也是如此。

关键要点

• 逐步回归是一种迭代检验线性回归模型中每个自变量统计显著性的方法。
• 正向选择法从零开始，递增地添加每个新变量，检验统计显著性。
• 反向消去法从加载多个变量的完整模型开始，然后删除一个变量以测试其相对于整体结果的重要性。
• 然而，逐步回归也有其缺点，因为它是一种将数据拟合到模型中以获得预期结果的方法。

逐步回归类型

逐步回归的基本目标是通过一系列测试（例如F-检验、t检验）来找到一组显著影响依赖变量的独立变量。这是通过迭代来实现的，它是通过反复的循环或分析周期来获得结果或决策的过程。在统计软件包的帮助下自动进行测试，有利于节省时间和限制错误。

逐步回归可以通过一次尝试一个自变量并将其包含在回归模型中（如果具有统计显著性），或者通过将所有潜在自变量包含在模型中并消除那些不具有统计显著性的自变量来实现。有些方法同时使用这两种方法，因此有三种逐步回归方法：

1. 正向选择从模型中没有变量开始，在模型中添加每个变量时测试每个变量，然后保持那些被认为最具统计意义的变量重复这个过程，直到结果是最优的。
2. 向后消除从一组独立变量开始，一次删除一个变量，然后测试移除的变量是否具有统计意义。
3. 双向消除是前两种方法的组合，测试哪些变量应该包括或排除。

例子

使用后向消去法的逐步回归的一个例子是，尝试使用设备运行时间、设备年龄、员工人数、室外温度和一年中的时间等变量来了解工厂的能源使用情况。该模型包括所有的变量，然后每个变量被删除，一次一个，以确定哪个是统计意义最小的。最后，该模型可能会显示，一年中的时间和温度是最重要的，这可能意味着工厂的能源消耗峰值是在空调使用量最高的时候。

逐步回归的局限性

回归分析，包括线性回归和多元回归，在当今的经济和投资领域有着广泛的应用。这样做的目的往往是找到过去存在的模式，而这些模式在未来也可能再次出现。例如，一个简单的线性回归可能会查看多年来的市盈率和股票回报率，以确定低市盈率（自变量）的股票是否提供更高的回报（因变量）。这种方法的问题在于，市场状况经常发生变化，过去的关系在现在或将来未必成立。

同时，逐步回归过程也受到了许多批评，甚至有人呼吁停止使用这种方法。统计人员注意到这种方法的一些缺点，包括结果不正确、过程本身固有的偏差以及通过迭代开发复杂回归模型的计算能力的必要性。