多元线性回归是一种分析多个解释变量与被解释变量之间线性关系的方法，OLS估计是其核心，以下是关于多元线性回归模型和OLS估计的详细笔记：
一、多元线性回归模型 模型定义：多元线性回归扩展了单一解释变量的模型，引入了多个解释变量。模型可以表示为被解释变量Y与多个解释变量X1, X2, …, Xk之间的线性关系。 向量积形式：通过令第一个变量恒为1，可以将模型写成向量积的形式，即Y = Xβ + ε，其中X是数据矩阵，包含所有样本和解释变量的数据，β是参数向量，ε是误差项。
二、OLS估计 目标：OLS估计的目标是找到使模型预测误差最小的参数估计值β。 实现方法：通过解决包含k个未知数的k个方程的正规方程组来实现。正规方程组是基于最小二乘原理构建的，通过求解该方程组可以得到参数β的估计值。 几何解释：OLS的几何解释是通过拟合向量和残差向量的正交性来理解的。拟合值是模型对被解释变量的预测值，残差是被解释变量的实际值与预测值之间的差异。拟合值和残差相互独立，且残差向量与解释变量正交，这是OLS估计的重要特性。
三、模型评估 拟合优度：OLS通常使用拟合优度来评估模型的拟合程度。拟合优度表示模型解释的被解释变量变异性的比例。 校正拟合优度：为避免过度拟合的问题，引入校正拟合优度。校正拟合优度通过分子分母除以自由度进行调整。自由度考虑了方程的独立性，但校正拟合优度可能为负，且其主要意义仅在于描述拟合程度。
四、注意事项 理解并适当应用拟合优度和其校正版本：拟合优度和校正拟合优度是评估模型拟合程度的重要指标，但应正确理解其含义和局限性，避免过度依赖或误解。 多元共线性问题：在多元线性回归中，如果解释变量之间存在高度相关性，可能导致参数估计值不稳定或难以解释。因此，在进行多元线性回归时，应注意检查解释变量之间的相关性。