应用回归分析（一）一元线性回归

Question

如题所述

Answer 1

在本学期的学习中，回归分析成为主要内容，我整理了书本知识并用Tex格式编写了笔记。如果学期结束时笔记完成，我将上传到GitHub。笔记中包含个人理解，但可能不完全准确，期待读者的指正和讨论。

本章节主要探讨一元线性回归模型的OLS估计方法和MLE估计方法的推导。我选择以图片形式呈现，而非Markdown，后续会介绍R在回归分析中的实际应用。

1.1 起步：一元线性回归模型

定义1.1：一元线性回归模型是表示为[公式]的形式，其中[公式]是因变量，[公式]是自变量，[公式]是随机误差。我们假设[公式]，使其满足[公式]的条件，用于探究两变量间的线性关系。

1.1.1 参数估计

对于简单的线性模型，目标是估计[公式]和[公式]。常用方法有OLS和MLE。OLS通过最小化[公式]，即求解使得[公式]最小的[公式]和[公式]。

1.2.1 OLS估计

通过微积分的知识，我们得到OLS的正常方程[公式]，从而得到参数的闭式解[公式]和[公式]。

1.2.2 MLE估计

MLE通过最大化联合概率密度函数来估计参数。在假设误差服从零均值正态分布的情况下，MLE与OLS的优化问题相似，参数估计结果相同。

1.3 统计性质

命题1.2.1指出，OLS估计[公式]和[公式]是线性估计器，其形式可以表示为[公式]和[公式]与[公式]的线性组合。