多重共线性对拟合优度的影响

Question

如题所述

Answer 1

多重共线性不会影响拟合优度。

“多重共线性不会影响拟合优度和预测优度。系数(线性判别函数)无法可靠地进行解译,但拟合(分类)值不会受到影响。 注意:多重共线性在判别分析中的效应与在回归中相同。”

回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件。严重的多重共线性可能会产生问题，因为它可以增大回归系数的方差，使它们变得不稳定。以下是不稳定系数导致的一些后果：

即使预测变量和响应之间存在显著关系，系数也可能看起来并不显著。高度相关的预测变量的系数在样本之间差异很大。

从模型中去除任何高度相关的项都将大幅影响其他高度相关项的估计系数。高度相关项的系数甚至会包含错误的符号。

其实，通俗来讲，就是说，假设变量A、B都对结果Y有影响，也就是，A、B是你回归模型中的特征，一般我们假设特征都是IID,实际中A、B相关的情况是避免不了的。

因此，在A、B相关的情况下，需要控制A或者B,否则结果会有偏，回归系数的方差，跟A、B的相关程度有关，如果相关性太强，结果显著性就不好，这种情况叫做多重共线性。

要度量多重共线性，可以检查预测变量的相关性结构，也可以查看方差膨胀因子 (VIF)。VIF 用于在您的预测变量相关时，度量估计回归系数的方差增加的幅度。如果所有 VIF 都为 1，则不存在多重共线性，但如果有些 VIF 大于 1，则预测变量为相关。

VIF 大于 5 时，该项的回归系数的估计结果不理想。如果某个预测变量与其他预测变量的关联接近完美，则 Minitab 将显示一条消息，指出无法估计该项。无法估计的项的 VIF 值数通常超过十亿。