支持向量回归机.docx

PAGE PAGE # / 10 3.3支持向量回归机 SVM本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression SVR）是支持向量在函数回归领域的应用。 SVR与SVM分类有以 下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点 分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在 两条边界线之间，求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR基本模型 对于线性情况，支持向量机函数拟合首先考虑用线性回归函数 f（x）?： x b拟合“』）」=1,2,…,n，xr Rn为输入量，R为输出量，即 需要确定??和b 0 图3-3a SVR结构图(x)] = 图3-3a SVR结构图 (x)] = max {0 血 一 /(x)|-f) 图3-3b ；不灵敏度函数 惩罚函数是学习模型在学习过程中对误差的一种度量， 一般在模型学习前己 经选定，不同的学习问题对应的损失函数一般也不同 ，同一学习问题选取不同的 损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表 3-1 o 表3-1常用的损失函数和相应的密度函数 损失函数名称 损失函数表达式c（￡） 噪声密度p（7） 不敏感 It i z 1—exp(-计』 2(1) f 1 拉普拉斯 2exp(—|g|) 高斯 丄导 2 i 1 r ；—exp() Q邓 2 鲁棒损失 1 就2 心 亍心，if ? It. _ cr —,otherwise; 2 f 严 「xp(—右)，ifNkr exp(2 -|；|), otherwise 多项式 p 2 (1/p) exp( —用「) 分段多项式 ?1鬥 p， if 闯 a 社p exp(-p”小 严小1 exp(二 CF i p -1 ,otherwise p p —1 科 I -i|), otherwise p 标准支持向量机采用:-不灵敏度函数, 即假设所有训练数据在精度；下用线 性函数拟合如图（3-3a）所示, 了 一 f(xj 兰 “ f(xj—yi 兰 e + ：* * 「i , _i — 0 i =1,2,..., n (3.11) 式中，i,是松弛因子，当划分有误差时， ，；都大于0,误差不存在取0 这时，该问题转化为求优化目标函数最小化问题： (3.12) 式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误 差；常数C 0表示对超出误差；的样本的惩罚程度。求解式（3.11）和式（3.12） 可看出，这是一个 凸二次优化问题，所以引入Lagrange函数: n n ? c (i ；)-」[i r f(Xi)] i d i z! n n %[￡ + g -yi + f(为)]-送(2 ；U) i =1 i=1 (3.13) 式中，〉，〉* -0， i， *—0，为 Lagra nge 乘数，i=1,2,..., n。求函数 L 对?■， b，＜，；的最小化，对，:- *， i， *的最大化，代入Lagrange函数得到对 偶形式，最大化函数： n * 1 * * W（： ,： ） ■ （： i -： i ）（： j -： j）（x Xj） （3.14）2 （3.14） n n 、（:i -〉；）yi -v G i *；）； i 4 i 4 其约束条件为: n * （二环 ~i ） = 0 i 二 0 乞i「；乞 C C怎么来的 （3.15） 求解式（3.14）、（ 3.15）式其实也是一个求解二次规划问题，由 Kuhn-Tucker 定理，在鞍点处有： 円2 + ? — y +f（Xj）］=o。；［8弋* — w + f（Xi）］ = 0 ..=o * * =o i i i i 得出二：?； =0，表明二，:-*不能同时为零，还可以得出： （C —円）? =0 怎么得到的 （C7 ）4 =0 一个点不能同时 两个等式都满足 （3.16） （3.17） 从式（3.17）可得出，当otjhC，或a i =C时，f （Xj） - yi可能大于e，与 其对应的xi称为边界支持向量（Boundary Support Vector，BSV），对应图3-3a 中虚线带以外的点；当 码*乏（0, C）时，s即■ = 0，?「= 0，与其 对应的xi称为标准支持向量 （Normal Support Vector，NSV），对应图3-3a中落 在；管道上的数据点；当:-i = 0，：?「= 0时，与其对应的xi为非支持向量，对应图 3-3a中；管道内的点，它们对w没有贡献。因此；越大，支持向量数越少。对于 标准支持向量，如果0 ：：：冷：：：CC7 =0），此时］=0，由式（3.16）可以求出参数 b