Fisher分类器(算法与程序).docxVIP

. .专业资料. 3.5 Fisher 分类器 (Fisher Lin ear Discrim inant ) Fisher判别法是历史上最早提出的判别方法之一 ,其基本思想是 将n类m维数据集尽可能地投影到一个方向 （一条直线），使得类与 类之间尽可能分开。从形式上看，该方法就是所谓的一种降维处理方 法。为简单起见，我们以两类问题 i和，2的分类来说明Fisher判别 法的原理，如图3.4所示。 Xp2 最不利投影方向图3.4, Fisher Xp2 最不利投影方向 图3.4, Fisher判别法几何原理示意图 设数据阵为X RN m,■ 1共有Ni个样本，2共有N2个样本，N =N 设数据阵为X RN m,■ 1共有Ni个样本，2共有N2个样本，N = N1+N20两个类别在输入空间的均值向量为 N1 Rm (3.37) N2 Rm 设有一个投影方向 w=(W.W2,…，WmPw Rm ,这两个均值向 量在该方向的投影为 -T - 1 \o Current Document 工w1 x异R1 N2 p 2 x p 2 (3.38) 在W方向，两均值之差为 ~T (3.39) 类似地,样本总均值向量在该方向的投影为 彳N 彳N ；WT 厂 Np=1WT xp * (3.40) 定义类间散度(Between-class scatter)平方和SSB为 ~ 2 ~ 2 ~ ~ 2 2 ?2 SSb = N1 1 _ 1)+ N2( 1 - 1)= -N j( 1j _ j =1 =N, wT 1 -wT 1 N2 wT 1 T 2 -w 1 二 wT N, 1 - j - T -1 1 - 1 N2 1 _ 1 12 - -1T T =w SBw (3.41) 其中 Sb T 1)+ N?( i 一 1T 1T 1T (3.42)=送 N j( i _ 1 i _ (3.42) j=i 定义类j的类内散度(Within-class scatter) 平方和为 P N j 、 WTXp _ WT 1 两个类的总的类内散度误差平方和为 (3.43) 2 2 SSW 二 SSWj j=1 2 寸 V (~T ~ ~T ■ 无 送Xp _ W 1 j=1 p Nj 2 =wT $ 送〔Xp _ 1_ i T w 」卄叫 一 (3.44) 其中, 2 甌八 Xp _円Xp j=1P 叫 (3.45) 我们的目的是使类间散度平方和 SSb与类内散度平方和 SSW的比 值为最大,即 max J w SSW T w SBww SW w (3.46) Xp2k w0图3.5a, Fisher判别法一类间散度平方和（分子）的几何意义■X Xp2 k w 0 图3.5a, Fisher判别法一类间散度平方和（分子）的几何意义 ■ Xpl -1类 + T \2 ~ W 忐 2类 wT 牌_ 垃 OW126p22类1类wT O W 12 6 p2 2类 1类 wT x p 亠T 亠 p1 = w X p 图3.5b, Fisher判别法一类内散度平方和（分母）的几何意义 图3.5给出了类间散度平方和 Sb与类内散度平方和 Se的几何意 义。根据图3.5a ,类间散度平方和Sb的另一种表示方式为 =wTT =wT T 一 一 T 垃 w= w Sbw (3.47) 这里 (3.48)『J (3.48) 可以证明，(3.48)与(3.42)只相差一个系数。简单证明如下： 由于 [i =(3.49) [i = (3.49) X p 由(3.42)得 Sb = Ni( m - Mm- m m —时垃- m Ki 1 ~ Ni m + N2 M ( - Ni m + N2 Mi - + 恥［打 Ni m + N2 M2 丫 M - - T Ni Mi+ N2 M 垃- =辱(M- MX M-鬼)丁+勢(电- 垃一 N2 N2 =讐(M- I Z =讐(M- I Z N (3.50) 这说明,(3.48)与(3.42)只相差一个与样本数有关的常数 根据图3.5b ,类内散度平方和 SSe的另一种表示方式为 2 2 SSe pi _ 2)2 WT x p _ m F x p ‘2(3.5i)lx p x p ‘2 (3.5i) T w SW w 这正是(3.44) o F面分析怎样确定最佳投影方向 wo 显然, Sb、Sw均为对称阵 ，于是， Sw 二=Sw 11- i- - _i - SW 2 SW 2。令 V 二 SW 2 w，则 w = SW _2v ,代入(3.46),得 T - w SBw max J w 〒— w 〒 SW w V〒 (3.52) 使(3.52)为最大，等价于求最大特征值■ max _11 SB Sw)2 max Sw