第七章-分类和预测.ppt

Bagging Boosting 第一页，编辑于星期三：十五点 五十二分。 分类 决策树分类: ID3 C4.5 贝叶斯分类 后向传播分类 其它分类 第二页，编辑于星期三：十五点 五十二分。 分类法的准确性 评估分类法的准确率 保持（holdout） K-次交叉验证（k-fold cross validation） 提高分类法的准确率 bagging boosting 第三页，编辑于星期三：十五点 五十二分。 评估分类法的准确率 保持（holdout） 划分为两个独立的数据集： 通常:训练集 (2/3),测试集(1/3) 变形：随机子选样 数据 训练集 测试集 导出分类法 评估准确性 第四页，编辑于星期三：十五点 五十二分。 评估分类法的准确率 K-次交叉验证 将数据集分为k个子集； 用k-1个子集作训练集，1个子集作测试集，然后k次交叉验证； 数据 S1 S2 Sk ··· 训练集 测试集 第五页，编辑于星期三：十五点 五十二分。 提高分类法的准确率 Bagging Boosting 数据 C1 C2 Ct 组合得票 新数据 样本 类预测 ··· 第六页，编辑于星期三：十五点 五十二分。 Bagging 基本思想: 给定一个弱学习算法,和一个训练集; 单个弱学习算法准确率不高; 将该学习算法使用多次,得出预测函数序列,进行投票; 最后结果准确率将得到提高. 第七页，编辑于星期三：十五点 五十二分。 Bagging 算法: For t = 1, 2, …, T Do 从数据集S中取样（放回选样） 训练得到模型Ht 对未知样本X分类时,每个模型Ht都得出一个分类，得票最高的即为未知样本X的分类 也可通过得票的平均值用于连续值的预测 第八页，编辑于星期三：十五点 五十二分。 Bagging … C1 C2 CT train train train … x c1(x) c2(x) cT(x) C* c*(x) = maxcntt ct(x) S1 S2 ST 第九页，编辑于星期三：十五点 五十二分。 Bagging Bagging要求“不稳定”的分类方法； 比如：决策树，神经网络算法 不稳定：数据集的小的变动能够使得分类结果的显著的变动。 “The vital element is the instability of the prediction method. If perturbing the learning set can cause significant changes in the predictor constructed, then bagging can improve accuracy.” (Breiman 1996) 第十页，编辑于星期三：十五点 五十二分。 Boosting背景 来源于:PAC-Learning Model Valiant 1984 -11 提出问题: 强学习算法: 准确率很高的学习算法 弱学习算法: 准确率不高,仅比随机猜测略好 是否可以将弱学习算法提升为强学习算法 第十一页，编辑于星期三：十五点 五十二分。 Boosting背景 最初的boosting算法 Schapire 1989 AdaBoost算法 Freund and Schapire 1995 第十二页，编辑于星期三：十五点 五十二分。 Boosting 基本思想： 每个样本都赋予一个权重 T次迭代，每次迭代后，对分类错误的样本加大权重，使得下一次的迭代更加关注这些样本。 Boosting也要求“不稳定”的分类方法 第十三页，编辑于星期三：十五点 五十二分。 Boosting 过程: 在一定的权重条件下训练数据，得出分类法Ct 根据Ct的错误率调整权重 Set of weighted instances Classifier Ct train classifier adjust weights 第十四页，编辑于星期三：十五点 五十二分。 Boosting AdaBoost AdaBoost.M1 AdaBoost.M2 … 第十五页，编辑于星期三：十五点 五十二分。 AdaBoost 输入:(X1,Y1), (X2,Y2),…(Xn,Yn) Xi∈X, Yi∈Y={+1,-1} 初始化:D1(i)=1/n For t=1,…,T 在Dt下训练, 得到弱的假设ht: X-{-1,+1}, 错误率:Εt=ΣDt(i) [ht(Xi)≠Yi] 选择αt=1/2 ln (