09-特征空间.pdf

第九章特征空间 9.0 引言 9.1 特征提取 9.2 特征选择 9.0 引言 模式识别中把每个对象都量化为一组特 征来描述，构建特征空间是所有模式识 别问题的第一步 通过直接测量得到的特征称为原始特征。 比如人体的各种生理指标（描述其健康状况） 数字图象中的每点灰度值（以描述图像内容） 9.0 引言 原始特征数量可能很大，不利于学习。 比如1024*768的灰度图像，256灰度级。 直接表示，每幅需要786,432 bytes 。进行训 练识别所需空间、时间、计算量都无法承受！ 很少的样本分布会在如此高维的特征空间中 显得十分稀疏，因而产生过学习的现象。 特征空间有很大的冗余。完全可以用很小的 空间相当好地近似表示图像，这一点与压缩 的思想类似。 9.0 引言 特征的提取与具体问题有很大关系，目前没有 理论能给出对任何问题都有效的特征提取方法。 例： 用傅立叶变换或小波变换的系数作为图象的特征 指纹的特征 用PCA方法作特征压缩 用LDA方法作特征压缩 9.0 引言 模式识别中压缩特征空间的方法可分为两类： 特征提取：用映射（或变换）的方法把原始特 征变换为较少的新特征，称为特征提取 特征选择：从原始特征中挑选出一些最有代表 性，分类性能最好的特征来，称为特征选择 9.1 特征提取 9.1 特征提取－PCA 一般来说，进行特征提取后，不能完全地表示 原有的对象，总会有一点损失。在给定容许的 损失后（比如1%的能量），我们总希望用最少 的比特达到这一要求，也就是找一种是能量最 为集中的的变换方法。 在所有正交线性变换中，这种最优的变换是 Karhunen-Loeve (KL)变换，相应的特征提取方 法被称为Principle Component Analysis (PCA) 。 9.1 特征提取－PCA 正交变换 正交变换就是向量在一组正交基上的投影； 给定n维空间中的一组标准正交基φ ,φ , L,φ 1 2 n 它诱导了一个线性变换： L : x →y L (x) y (y , y , L, y ) 1 2 n T y x φ . i 1,2, L, n. i i n x ∑y φ . 正交展开 i i i 1 9.1 特征提取－PCA 反之，任何一个正交变换也确定了一组正交 基。因此我们只需找一组最优的正交基。 我们希望通过变换，用较少的数y , y , L, y 1 2 m 近似表示原来的较多的数x (x ,x , L,x )T，