极大似然估计详解如下:
一、原理
极大似然估计方法(Maximum Likelihood Estimate,MLE)也称为最大概似估计或最大似然估计,是求估计的一种方法,说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。
极大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。
通过一个例子进一步说明极大似然估计的思想:二、极大似然估计求解过程
知道了极大似然估计法的原理,那么如何应用极大似然法解决实际问题呢?首先给出解决问题的一般步骤:
(1)写出似然函数;
(2)对似然函数取对数,并整理;
(3)求导数,令导数为0,得到似然方程;
(4)解似然方程,得到的参数。
极大似然估计是一种模型参数估计方法,不同问题对应的参数模型是不一样的,因此解决实际问题的第一步是要写出描述问题的似然函数,那么什么是似然函数呢,根据百度百科给出的解释
1.似然函数的定义如下:
似然函数是一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:L(θ|x)=P(X=x|θ)
由于样本集中的样本都是独立同分布,可以只考虑一类样本集D,来估计参数向量θ。记已知的样本集为:
直白一些解释(重点),似然函数其实就是实际问题求概率的计算表达式,由于参数θ未知,所以写出来的式子含有未知数,就成了似然函数。我们求解的就是这个似然函数,解出一个未知参数θ,使似然函数的值最大。
2.对数似然函数
根据以上定义,我们知道了如何写出似然函数,即解决步骤中的第一步,然后观察似然函数可知,极大似然函数是未知变量X的所有可能结果的概率的乘积。我们求解的参数就是使似然函数的值可以取最大值,这在数学问题中可以通过求导来解决,由于极大似然函数的表达式是多项的乘积的形式,对关于未知参数求导(梯度)十分复杂,而求其对数函数之后,(将连乘变成了连加),不仅没有改变原来的变化趋势,而且求导更加容易,因而需要根据似然函数写出其对数似然函数。
对数似然函数如下:
接下来就是3,4步骤中的求导,得到参数估计值的过程了。
若随机变量X服从一个数学期望为μ、方差为σ
2的正态分布,记为N(μ,σ2),
正态分布的概率密度函数是:现有X的观测数据,根据极大似然法估计参数μ和σ
总结:
首先还是理解其原理,已知某个参数能使样本出现的概率最大,干脆就把这个参数作为估计的真实值。
然后根据两个例子理解其求解过程,尤其是第一个例子。其实就是根据已有观察数据求概率,然后概率表达式中有未知参数,求出一个使表达式概率值最大的参数值就做为极大似然估计值。