线性最小二乘估计估计准则

Question

如题所述

Answer 1

在统计学中，寻找使误差平方和达到最小的参数估计，被称为线性最小二乘估计，简称LS。这种估计方法以符号LS来表示，其基本公式为LS = ()，其中矩阵A由输入数据构成，记为[,,…,]，而向量b则是对应的输出，表示为[,，…,]。

LS本质上是一个线性函数，它的重要特性在于，无论误差序列{}具有何种统计特性，只要LS存在且矩阵A满秩（即矩阵秩等于输入变量的阶数），我们都可以通过简单的计算得到它。这种估计方式的便捷性在于无需过多了解误差序列的具体性质。

然而，LS并非在所有情况下都是理想的估计。当误差序列{}是零均值的白噪声，并且输入和输出功率满足一定限制时，LS在大量数据（N趋于无穷大）下表现为渐近无偏的强一致性估计。但在实际应用中，由于数据有限，这个结论并不通用，且误差序列往往并非白噪声。因此，LS在一般情况下可能存在偏差，这是其一个显著的不足。

为了弥补这个缺点，人们发展出了其他估计方法，如广义最小二乘估计、辅助变量估计和极大似然估计等，它们能够针对特定情况提供更精确的估计。至于单输入单输出系统中的线性最小二乘估计算法，其概念和方法可以进一步扩展到多输入多输出系统，并且有相应的递推算法来处理复杂系统。