回归分析|笔记整理（A）——岭回归，主成分回归（上）

Question

如题所述

Answer 1

大家好！

如果你之前接触过《抽象代数》笔记，对这里的A理解为10，那么你对接下来的内容已经有所了解。我们会深入探讨岭回归和主成分回归，这些都是多重共线性问题的延伸。有人认为岭回归是现代统计学的起点，它的重要性不言而喻。

为了简化公式，我们将使用更直观的记号。首先，岭回归的目的是处理[公式] 的问题，通过在矩阵上做调整，减轻多重共线性影响。例如，当处理[公式] 的数据时，即使初始线性回归结果理想，实际结果却大相径庭，因为[公式] 间高度相关。岭回归通过调整定义来达到这个目标，定义1中，[公式] 是岭回归参数，通过增加[公式] 来稳定特征值，从而缓解共线性。

岭迹分析是一种主观的观察方法，通过观察[公式] 如何随[公式] 变化，它揭示了回归系数的稳定性。不同岭迹图展示出多重共线性的影响，有的变量对回归的贡献可能在岭回归下反转或减弱。

选择岭参数[公式] 时，通常目标是最大化稳定性，如最小化均方误差 [公式] 。尽管存在理论上的困难，实践中通常依赖于一些直观原则，比如回归系数的稳定性、经济意义以及残差平方和的减少。

主成分回归则是一种通过正交变换减少自变量数量的工具，它在消除多重共线性的同时，保留方差最大的主成分。主成分回归的理论基础和约束条件将在后续章节详细讨论。

总结来说，岭回归利用主观判断处理多重共线性，尽管结果可能因人而异，但它是统计学中解决这个问题的有效手段。多重共线性的其他解决方案将在后续章节中介绍。