最大似然估计的原理及其应用.docVIP

最大似然估计的原理及其应用 摘要：了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。 引言：似然函数　是θ的函数，表示由参数θ产生样本值　的“可能性”大小。将样本观察看成“结果”，θ是产生结果的“原因”， 则是度量产生该结果的各种　“原因”的机会。因此，θ的一个合理的估计应使这种机会（即　）达到最大的那个值。 关键词：似然函数，最大似然估计，最大似然估计值。 （1）似然函数 设描述总体的随机变量Ｘ的概率密度函数为，其中都是总体的未知参数（若Ｘ是离散型的，则约定表示概率分布，总体的样本Ｘ1，Ｘ2，…，Ｘn的测量值为，也可以理解为是ｎ维独立随机向量（Ｘ1，Ｘ2，…，　Ｘn）的一个测量值。即是说，对一维随机变量进行ｎ次测量得到的ｎ个测量值可以看成是对ｎ维独立的随机向量进行一次测量得到的ｎ个测量值。由于ｎ维随机向量的联合概率密度为 显然，对于样本的一个测量值，它是的函数，记为　　　　　　　　　　　　　　　 并称它为似然函数，简记为Ｌ。对于离散型随机变量。　　应该注意，似然函数与参数有关，对于给定的样本值，它是这些参数的函数。 （2）　最大似然估计值 设总体含未知参数，对于给定的样本值如有 其中为未知参数可能取的某一组值，而为的一切其他可能取值，此时，我们可认为，比作为的估值要好些。这是因为不等式说明，取时得到样本值的可能性最大，这样的估计值就是的最大似然估计值。因此，可以有定义：如果似然函数Ｌ在分别取时达到最大值，则称分别是的最大似然估计值。 （3）求最大似然估计值的方法 我们认为，如果在一次测量中一个事件出现了，那么就可以认为此事件出现的可能性最大。在这里，作为ｎ维随机向量的一个测量值出现了，那么就认为只有似然函数为最大才有可能。因为似然函数为最大，对应事件出现的可能性才最大。所以求似然函数Ｌ的最大值问题也就是求总体的未知参数的最大似然估计值的问题了。 　　在Ｌ关于可微时，要使Ｌ取最大值，必须满足方程组?????????????????????????????????????? ?????????????????由此方程组解得的值，即为最大似然估计值。显然，最大似然估计值与样本测量值的取值有关，故可记为并称为估值。 　　由于似然函数式是多个因子的乘积，利用对数ln L进行计算比较方便，并且因为lnX是ｘ的单调上升函数，故Ｌ与ln L有相同的极大点，从而的最大似然估计值还可由下列方程组（称为似然方程组）求得?????????????????????????????? ?? 　　????????????????? 　　在实际问题中，常常由于似然函数很复杂，而无法由解方程组（４-７）求出最大似然估计的解析表达式。只有利用适当的近似计算方法求似然方程组的近似解，或者利用计算数学中寻求函数极值点的最优化技术，在计算机上进行优选计算，搜索出使似然函数最大的参数值，作为参数的最大似然估计值。 （4）　最大似然估计法具有下述性质： 　　若为中参数的最大似然估计值，又函数具有单值反函数，则。因此，当已知有单值反函数时，则有 上式即是σ的最大似然估计。 （5）最大似然估计的应用 例 设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球99个黑球.今随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这个箱子是甲箱还是乙箱? 分析 我们这里做的是统计推断而不是逻辑推断。所谓统计推断，就是根据已知的部分数据对总体的进行估计的一种推断方法。从部分推断总体，必然伴随着一定的犯错误的概率。因此从逻辑上认起死理来，统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。但是在实际生活中，如果都要按照逻辑推断来思考，那么将会给你的生活带来很大的麻烦。比如出门，则难免会有一定的概率出一定的意外，因此所谓“安全回家”在逻辑上便不再是绝对可靠的，故而你只能选择闭门不出。 现在的问题是，仅仅从取出的球是白球这一点是无法从逻辑上严格加以判定该箱究竟是甲箱还是乙箱的。但是如果现在一定要我们做出选择，那么我们只能这样来考虑：从箱中取出的球是白球这一点来看，甲箱和乙箱哪个看上去更像是真正从中取球的箱子？ 我们这样来分析：如果该箱是甲箱,则取得白球的概率为0.99；如果该箱是乙箱,则取得白球的概率0.01．因此，用“该箱是甲箱”来解释所取的球是白球这一事件更有说服力一些，从而我们判定甲箱比乙箱更像一些。最后我们做出推断,这球是从甲箱取出的. 其实，如果我们从“最大似然”的原文maximum likelihood来看，就会发现这个名称的原始含义就是“看起来最像”的意思。 “看起来最像”，在很多情况下其实就是我们决策时的依据。 一个总体往往都有若干个重要的参数。比如，对于正态总体来说，均值和