贝叶斯推理分析.ppt

Chp11：贝叶斯推断 内容: 贝叶斯观点和贝叶斯方法 贝叶斯推断 vs. 频率推断 贝叶斯观点和贝叶斯方法 从频率到信念 频率学派的观点 到目前为止我们讲述的都是频率（经典的）统计学 概率指的是相对频率，是真实世界的客观属性。 参数是固定的未知常数。由于参数不会波动，因此不能对其进行概率描述。 统计过程应该具有定义良好的频率稳定性。如：一个95％的置信区间应覆盖参数真实值至少95％的频率。 贝叶斯学派的观点 贝叶斯推断采取了另外一个不同的立场： 概率描述的是主观信念的程度，而不是频率。这样除了对从随机变化产生的数据进行概率描述外，我们还可以对其他事物进行概率描述。 可以对各个参数进行概率描述，即使它们是固定的常数。 为参数生成一个概率分布来对它们进行推导，点估计和区间估计可以从这些分布得到 贝叶斯方法 贝叶斯推断的基本步骤如下： 选择一个概率密度函数 ，用来表示在取得数据之前我们对某个参数 的信念。我们称之为先验分布。 选择一个模型 （在参数推断一章记为 ） 来反映在给定参数 情况下我们对x的信念。 当得到数据 X1, X2,…Xn 后，我们更新我们的信念并且计算后验分布 。 从后验分布中得到点估计和区间估计。 回忆贝叶斯规则 亦称贝叶斯定理 条件概率 利用贝叶斯规则将数据和参数的分布联合起来 似然函数 假设我们有n个IID观测 ，记为 ,产生的数据为 ，记为 ，我们用如下公式替代 现在似然函数真正解释为给定参数下数据的概率 后验概率 因此后验概率为 其中 被称为归一化常数(normalizing constant)。该常数经常被忽略，因为我们关心的主要是参数 的不同值之间的比较。所以 也就是说，后验和似然函数与先验的乘积成正比 贝叶斯点估计 后验的均值 是一个常用的点估计 L2损失下的贝叶斯规则 极大后验估计(maximum a posteriori，MAP)是使后验 最大的 的值： 是另一个常用的点估计 0-1损失下的贝叶斯规则 贝叶斯置信区间估计 为了得到贝叶斯区间估计，我们需找到a和b，使得 令 因此 C称为 后验区间。 注意：在多次试验中,并不保证θ在 (1 ? α)100% 的次数会落在后验区间内。事实上，在复杂的高维模型中，当样本数很少时，覆盖概率可能接近于0。 注意： 是随机的 例：Bernoulli I 令 ，假设先验为均匀分布 ，根据贝叶斯公式，后验为 其中 为成功的次数。 例：Bernoulli I 为了得到后验的均值，我们必须计算 在这个例子中可以解析计算。后验恰好为Beta分布 其中参数 ， ，均值为 例：Bernoulli I p的极大似然估计为 ，为无偏估计。 贝叶斯估计还可以写成 其中 为先验的均值， 例：Bernoulli II 现在假设先验不是均匀分布，而是 则后验为Beta分布，参数为 和 ，即 后验的均值为 其中 为先验的均值。 先验和后验为相同的分布族：共轭 如例子中的Beta分布 例：正态分布 令 ，为简单起见，假设 已知，并假设先验为 例：正态分布 将二者相乘，去掉一些常数项，最后得到一个正态分布形式的核 最后， θ的后验为 其中 为MLE 的标准误差。 例：正态分布 当 时， ， 当n很大时，后验近似为 当n固定而 时，对应先验趋近于均匀分布，上述结论也成立 例：正态分布 计算后验区间 ，使得 所以 且 因此， 由于 ，所以