统计判决.pdf

模式识别原理 模式识别原理 华中科技大学图像识别与人工智能研究所 华中科技大学图像识别与人工智能研究所 图像分析与智能系统研究室 图像分析与智能系统研究室 曹治国 曹治国 2012-10-25 1 第4章 统计判决 第4章 统计判决 2012-10-25 2 第4章 统计判决 统计判决的核心技术是贝叶斯方法 所有需要作出概率预测的地方都可以见到贝叶 斯方法的影子 贝叶斯是机器学习的核心方法之一。 为什么？ 第4章 统计判决 贝叶斯方法是用于解决逆概问题的！ 贝叶斯以前 已经解决 “正向概率”：如“假设袋子里面有N个白球， M个黑球，你伸手进去摸一把，摸出黑球的概 率是多大” 。 反过来的问题：“如果我们事先并不知道袋子 里面黑白球的比例，而是闭着眼睛摸出一个 （或好几个）球，观察这些取出来的球的颜色 之后，那么我们可以就此对 袋子里面的黑白 球的比例作出什么样的推测” 。 逆概 问题 第4章 统计判决 贝叶斯方法得以广泛应用的原因： 现实世界本身就是不确定的 人类的观察能力是有局限性的 我们日常所观察到的只是事物表面上的结果，以在 袋子里面取球为例，我们往往只能知道从里面取出 来的球是什么颜色，而并不能直接看到袋子里面实 际的情况。 怎么办？ 第4章 统计判决 对于不确定的事物，通过“猜测”或者“假设”得出结论 不能瞎蒙！ 需要做两件事情： 1. 算出各种不同猜测的可能性大小。 计算特定猜测的后验概率，对于连续的猜测空间则 是计算猜测的概率密度函数。 2. 算出最靠谱的猜测是什么。 模型比较，模型比较如果不考虑先验概率的话就是 最大似然方法。 贝叶斯方法提供的解决问题的技术途径 第4章 统计判决 用例子说明贝叶斯公式的来历： 一所学校里面有 60% 的男生，40% 的女生。男生总是穿长 裤，女生则一半穿长裤一半穿裙子。 “随机选取一个学生，他（她）穿长裤的概率和穿裙子的概 率是多大”，这个就是前面说的“正向概率”的计算。 然而，假设你走在校园中，迎面走来一个穿长裤的学生（很 不幸的是你高度近似，你只看得见他（她）穿的是否长裤， 而无法确定他（她）的性别），你能够推断出他（她）是男 生的概率是多大吗？ 用频率形式重新叙述成：你在校园里面随机游走，遇到了 N 个穿长裤的人（仍然假设你无法直接观察到他们的性别）， 问这N 个人里面有多少个女生多少个男生。 第4章 统计判决 用例子说明贝叶斯公式的来历： 假设学校里面人的总数是 U 个， 穿长裤的男生个数：U * P(Boy) * P(Pants|Boy) （其中：P(