神经网络的规划学习方法.ppt

（b ）线性不可分 对下面二维待分类人工数据P进行分类: X = [2 7; 3 6; 2 2; 8 1; 6 4; 4 8; 9 5; 9 9; 9 4; 6 9; 7 4;4 4]; Y = [ +1; +1; +1; +1; +1; -1; -1; -1; -1; -1; -1; -1]; （1）、试验环境 Matlab 7.0 （2）、界面设计 （3）、具体实现 a) 对于线性可分人工样本数据P。其中共有11个待分类样本。使用最简单支持向量机, 即以线性核函数K(x,xi)=(x. xi)作为内积函数支持向量机来训练该数据集合。处罚因子C取10。 黑色线为数据集合两类分类线, 能够看出它能将两类正确无误分开, 错误率为0。蓝线和绿线为两类样本最大间隔边界。5,11,6三点为支持向量。 样本点 分类结果 对于线性不可分人工样本数据P。其中共有12个待分类样本。 1）用线性核函数SVM进行训练。仍采取最简单支持向量机, 即以线性核函数K(x,xi)=(x. xi)作为内积函数支持向量机来训练该数据集合。处罚因子C取10。 显然黑色线为数据集合两类分类线, 不能将两类正确无误分开, 点12是错分样本点, 而5和点11落在了分类间隔内。此时正确率为91.67%。 样本点 分类结果 2）利用较为复杂RBF核函数支持向量机进行分类。 RBF核函数中核宽度这个参数是由用户决定。所以下面采取三个不一样 RBF核宽度来对该函数集合进行分类。处罚因子C取100。 ①选择RBF核宽度为8,其结果如图所表示。 从图中能够看出, 此时SVM以点12作为类别－1一个聚类中心, 在其周围形成了一个类似“小岛”区域。而且, 点2, 3, 4, 5, 6,11和12是支持向量, 错分样本数为0。 ②使用一个较小值1作为RBF核宽度,其结果如图所表示。 黑线为分类边界, 蓝线和绿线为两类最大间隔边界。因为较小核宽度许可了分类边界分割, 所以图中分类边界有很多条。由此造成了每个样本点都是支持向量, 所以错分样本数为0。 ③使用一个较大值36作为RBF核宽度,其结果如图所表示。 文档如有侵权，请联系本人协改正删除，内容如有不当之处，请联系本人改正或者删除，谢谢。 神经网络的规划学习方法 关键内容 支持向量机 支持向量机分类学习算法 用于函数拟合支持向量机 支持向量机算法研究与应用 仿真实例 传统统计学是一个渐进理论, 研究是样本数目趋于无穷大时极限特征。 现有学习方法多基于传统统计学理论, 但在实际应用中, 样本往往是有限, 所以部分理论上很优异学习方法在实际中表现却不尽人意, 存在着部分难以克服问题, 比如说怎样确定网络结构问题、过学习问题、局部极小值问题等, 从本质上来说就是因为理论上需要无穷样本与实际中样本有限矛盾造成。 与传统统计学方向不一样, Vapnik等人提出了一个较完善基于有限样本理论体系－－统计学习理论。 统计学习理论是又一个通用前馈神经网络, 一样可用于处理模式分类和非线性映射问题。 支持向量机方法是在统计学习理论基础上发展起来通用学习方法, 它含有全局优化、适应性强、理论完备、泛化性能好等优点 。 支持向量机（Support Vector Machine, SVM） 90年代中期, 在统计学习理论基础上发展出了一个通用学习方法－－支持向量机。它依据有限样本信息在模型复杂性和学习能力之间寻求最好折衷, 以取得最好泛化能力。 支持向量机在很多机器学习问题应用中已初步表现出很多优于已经有方法性能。 支持向量机理论最初来自于对数据分类问题处理。对于线性可分数据二值分类, 假如采取多层前向网络来实现, 其机理能够简单描述为: 系统随机产生一个超平面并移动它, 直到训练集合中属于不一样类别点恰好位于该超平面不一样侧面, 就完成了对网络设计要求。不过这种机理决定了不能确保最终所取得分割平面位于两个类别中心, 这对于分类问题容错性是不利。 确保最终所取得分割平面位于两个类别中心对于分类问题实际应用是很关键。支持向量机方法很巧妙地处理了这一问题。 该方法机理能够简单描述为: 寻求一个满足分类要求最优分类超平面, 使得该超平面在确保分类精度同时, 能够使超平面两侧空白区域最大化; 从理论上来说, 支持向量机能够实现对线性可分数据最优分类。为了深入处理非线性问题, Vapnik等人经过引入核映射方法转化为高维空间线性可分问题来处理。 最优分类超平面（Optimal Hyperplane ） 对于两类线性可分情形, 能够直接结构最优超平面, 使得样本集中全部样本满足以下条件: （1）能被某一超平面正确划分; （2）距该超平面最