数据挖掘2015课程完整(第9讲)---svm-4要点解析.ppt

基于SVM的分类方法 支持向量机概述 1963年，Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV)。 1971年，Kimeldorf提出使用线性不等约束重新构造SV的核空间,解决了一部分线性不可分问题。 1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。 1995年，Vapnik正式提出统计学习理论。 SVM的地位和作用 是统计学习方法的优秀代表 有严密的数学依据，得到了严格的数学证明 有力反驳 —— “复杂的理论是没有用的，有用的是简单的算法”等错误观点 充分表明 —— “没有什么比一个好的理论更实用了”等基本的科学原则 SVM所坚持的“基本信念” 传统的估计高维函数依赖关系的方法所坚持的信念 实际问题中总存在较少数目的一些“强特征”，用它们的简单函数（如线性组合）就能较好地逼近未知函数。因此，需要仔细地选择一个低维的特征空间，在这个空间中用常规的统计技术来求解一个逼近。 SVM所坚持的信念 实际问题中存在较大数目的一些“弱特征”，它们“巧妙的”线性组合可较好地逼近未知的依赖关系。因此，采用什么样的“弱特征”并不十分重要，而形成“巧妙的”线性组合更为重要。 SVM与传统方法的区别 要较好地实现传统方法，需要人工选择（构造）一些数目相对较少的“巧妙的特征” SVM方法则是自动地选择（构造）一些数目较少的“巧妙的特征” 在实际应用中，可通过构造两层（或多层）SVM来选择“巧妙的特征” SVM的数学基础 概率论与数理统计 泛函分析 一个简单的例子 哪个分类更优? B1 or B2? 怎样定义更优? SVM的简介 适用于线性和非线性可分数据的新分类方法 通过非线性映射，将原始训练数据变换到更高维空间 在新的维度下, 搜索线性可分的超平面 (i.e., “决策边界”) 通过合适的高维映射, 来自两类的数据总可被超平面分开 SVM 以支持向量搜索超平面 (“基本” 训练元组) 和边缘 (由支持向量定义) SVM的基本思想 支持向量 小边缘 大边缘 具有较大边缘的决策边界比那些具有较小边缘的决策边界具有更好的泛化误差,如果边缘比较小,决策边界任何轻微的扰动都可能对分类产生显著的影响,因此,决策边界边缘较小的分类器对模型的过分拟合更加敏感,从而在未知的样本上的泛化能力很差. 边缘和支持向量 SVM-线性可分情况 m 令 D 为数据集 (X1, y1), …, (X|D|, y|D|), 此处Xi 为 和类标号 yi相关联的训练元组 存在无数条线 (超平面) 分开两类，但我们期望找出最佳的分类 (对未见数据具有最小的分类误差) SVM 搜索最大的边缘, i.e., maximum marginal hyperplane (MMH) SVM-线性可分 SVM-线性可分 目标是最大化: 等价于最小化: 满足以下约束: 约束的二次优化问题 数值方法求解 (e.g., 二次规划) 训练后的决策边界 SVM-问题线性不可分 问题是线性不可分，怎么办？ 引入松弛变量 最小化: 约束条件下: SVM-决策面分线性 将原始输入数据变换到高维的空间 例6-10 在新的空间搜索线性可分平面 SVM-核函数映射 利用核函数K(Xi, Xj)对原始数据映射，如K(Xi, Xj) = Φ(Xi) Φ(Xj) 典型的核函数 SVM 可用于多类分类 (> 2两类) 和回归分析 (使用附加的用户参数) 研究现状 应用研究 支持向量机研究 支持向量机算法研究 主要应用领域 手写数字识别 语音识别 人脸识别 文本分类 应用研究 SVM的应用主要于模式识别领域 贝尔实验室对美国邮政手写数字库进行的实验 分类器 错误率 人工表现 2.5% 决策树C4.5 16.2% 最好的两层神经网络 5.9% SVM 4.0% 支持向量机研究 如何针对不同的问题选择不同的核函数仍然是一个悬而未决的问题。 标准的SVM对噪声是不具有鲁棒性的,如何选择合适的目标函数以实现鲁棒性是至关重要的。 支持向量机算法研究 支持向量机的本质是解一个二次规划问题,虽然有一些经典（如对偶方法、内点算法等）,但当训练集规模很大时,这些算法面临着维数灾难问题。为此,人们提出了许多针对大规模数据集的SVM训练算法。 支持向量机算法研究（续1 思路1：分解子问题 块算法 SMO算法(Sequential Minimal Optimization) 思路2：序列优化 思路3：近邻SVM 支持向量机算法研究（续2） 训练SVM的绝大多数算法都是针对分类问题,只有一小部分算法考虑了回归函数的估计问题。