距离判别分析.ppt

判别分析利用已知类别的样本为标准，对未知样本进行判类的一种统计方法。它产生于本世纪30年代。近年来，在自然科学、社会学及经济管理学科中都有广泛的应用。判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。§1距离判别（一）马氏距离距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。设是从期望为、协方差阵Σ=的总体G抽得的两个观测值，则称马氏距离和欧式距离之间的差别马氏距离有如下的特点：3、若变量之间是相互无关的，则协方差矩阵为对角矩阵*实际问题中如何应用主成分分析如果遇到多目标决策问题，即有n个样品，每个样品有p个指标，要确定n个样品的排序就可以采取主成分分析.其思路就是将原有的p个指标，换成k(kp)个主成分，然后根据主成分的数值（又称主成分的得分）进行排序。若为利润型指标，则主成分得分大者排名靠前；若为成本型指标，则主成分得分小者排名靠前;若只选第一主成分，则按其得分进行排名；若选k个主成分，则按他们的加权平均进行排名其中权向量就是k个特征值的归一化向量.解决实际问题有时采用协方差矩阵，有时采取相关系数矩阵，究竟用那个矩阵要具体问题具体分析，通常有以下准则：1.若量纲不一样，应当先进行无量纲化，而相关系数矩阵就是实现无量纲化的方法之一，故此时应采取相关系数矩阵计算；2.用协方差矩阵与相关系数矩阵计算主成分得分的公式不一样，协方差矩阵用原始数据(统一趋势后)左乘特征值矩阵；相关系数矩阵用标准化以后的矩阵左乘特征值矩阵.如何解读计算主成分的数学表达式我们设计算第一主成分的公式为：若a11,a12,a14的绝对值比较大，表明第一主成分主要提取了x1,x2,x4三个原始指标的信息；如果此时再计算第二主成分，你会发现第二主成分x3系数的绝对值就比x1,x2,x4系数的绝对值要大，也就是说第二主成分弥补了第一主成分的不足.主成分分析可以有助于回归分析中自变量的选择，如果原有n个自变量进行拟合效果不好，可考虑选择k个主成分为自变量进行拟合（kn),其原因在于原始的自变量之间可能存在一定的相关性，而主成分之间彼此不相关，可望消除多重共线性.第四章判别分析样本X和G类之间的马氏距离平方定义为X与G类重心间的距离平方：为X与Y之间的Mahalanobis距离平方注：重心即均值马氏距离欧氏距离2、马氏距离是标准化后的变量的欧式距离1、马氏距离不受计量单位的影响;（二）两个总体距离判别法先考虑两个总体的情况，设有两个总体对给定的样本Y，判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。故我们用马氏距离来给定判别规则，有：1.两个总体协方差矩阵相等由于实际问题中只能得到两个样本的协方差矩阵S1，S2,因此当两个总体协方差矩阵相等时如何确定总体的协方差矩阵S?其中n1,n2分别为两个样本的容量.判别步骤：1.计算A、B两类的均值向量与协方差阵;ma=mean(A),mb=mean(B),S1=cov(A),S2=cov(B)2.计算总体的协方差矩阵其中n1,n2分别为两个样本的容量.3.计算未知样本x到A,B两类马氏距离之差d=(x-ma)S-1(x-ma)’-(x-mb)S-1(x-mb)’4.若d0,则x属于A类;若d0,则x属于B类上述公式可以化简为：W(x)=(ma-mb)S-1(x-(ma+mb)/2)’若W(x)0，x属于G1;若W(x)0，x属于G2注意：1.此处ma,mb都是行向量，与书中不同；2.当x是一个矩阵时，则用ones矩阵左乘(ma+mb)/2以后，方可与x相减.例1.现测得6只Apf和9只Af蠓虫的触长,翅长