第五章贝叶斯估计.pdf

实用标准文案 第五章 贝叶斯统计 5.1 简介 到目前为止， 我们已经知道了大量的不同的概率模型， 并且我们前面已经讨论了如何用它们 去拟合数据等等。 前面我们讨论了如何利用各种先验知识， 计算 MAP 参数来估计θ =argmax p( θ|D) 。同样的， 对于某种特定的请况， 我们讨论了如何计算后验的全概率 p( θ|D) 和后验的 预测概率密度 p(x|D) 。当然在以后的章节我们会讨论一般请况下的算法。 5.2 总结后验分布 后验分布总结关于未知变量θ的一切数值。在这一部分，我们讨论简单的数，这些数是可以通过 一个概率分布得到的， 比如通过一个后验概率分布得到的数。 与全面联接相比， 这些统计汇总常 常是比较容易理解和可视化。 5.2.1 最大后验估计 通过计算后验的均值、中值、或者模型可以轻松地得到未知参数的点估计。在 5.7 节，我们将讨 论如何利用决策理论从这些模型中做出选择。 典型的后验概率均值或者中值是估计真实值的恰当 选择，并且后验边缘分布向量最适合离散数值。然而，由于简化了优化问题，算法更加高效，后 验概率模型， 又名最大后验概率估计成为最受欢迎的模型。 另外， 通过对先验知识的取对数来正 则化后，最大后验概率可能被非贝叶斯方法解释（详情参考 6.5 节）。 最大后验概率估计模型在计算方面该方法虽然很诱人，但是他有很多缺点，下面简答介绍一下。 在这一章我们将更加全面的学习贝叶斯方法。 精彩文档 实用标准文案 图5.1 （a ）由双峰演示得到的非典型分布的双峰分布，其中瘦高蓝色竖线代表均值，因为他接近 大概率，所以对分布有个比较好的概括。 (b) 由伽马绘图演示生成偏态分布，它与均值模型完全 不同。 5.2.1.1 无法衡量不确定性 最大后验估计的最大的缺点是对后验分布的均值或者中值的任何点估计都不能够提供一个不确 定性的衡量方法。 在许多应用中， 知道给定估计值的置信度非常重要。 我们在 5.22 节将讨论给出 后验估计置信度的衡量方法。 5.2.1.2 深耕最大后验估计可能产生过拟合 在机器学习中，相比于解释模型的参数，我们能够得到精确预测结果。 然而， 如果我们不能衡量 参数的不确定性， 那么可能过分信任预测的分布。 在第三章我们介绍了几个例子， 之后还有更多 这样的例子。 预测中的过度自信对于我们的风险规避很成问题； 在随后的 5.7 节我们将详细介绍。 5.2.1.3 模型是一个非典型的点 由于现实模型常常是一个区别于均值或者中值的非典型分布， 所以选择一个模型来概括后验分布 的效果往往很差。对于一个一维连续空间图 5.1 （a ）中很好的说明了这一点。该模型的一个根本 问题在于它是一个 0-1 的测量值，而中值和均值是在空间体积上的考虑。图 5.1 （b ）给出了另一 个例子：图中模型结果是 0.但是均值非零。这样的偏态分布经常在推断方差参数时出现，尤其是 在分层模型中。在这样的例子中，最大后验估计（最大似然估计例外） 明显的是一个非常不好的 精彩文档 实用标准文案 估计方法。 假如模型不是一个很好的选择项，那么我们应该如何概括后验概率呢？在 5.7 节中讨论的决策理 论将会解答这一疑问。其基本思想是指定一个损失函数，如果你对真实的θ的估计是 ? 函数为 L( θ, ? θ) 。如果我们