范本主成分分析之PCA.ppt

* 稍事休息 * §3.4 PCA的性质 一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使 其中 是A的特征根。 * 2、若上述矩阵的特征根所对应的单位特征向量为 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有 令 * §3.4 PCA的性质(续) 3、均值 4、方差为所有特征根之和 说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。 协方差矩阵?的对角线上的元素之和等于特征根之和。 * 3.4、精度分析 1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为贡献率 ，反映了原来P个指标多大的信息，有多大的综合能力 。 2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重 来描述，称为累积贡献率。 * PCA 多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性. 在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上，这种想法是可以实现的. 主成分分析原理: 是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 主成分分析方法就是综合处理这种问题的一种强有力的方法。 * (1) 如何作主成分分析? 当分析中所选择的变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。 在力求数据信息丢失最少的原则下，对高维的变量空间降维，即研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。要讨论的问题是： 2. 问题的提出 * 各个变量之间差异很大 * （2） 如何选择几个主成分。 主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。 （3）如何解释主成分所包含的几何意义或经济意义或其它。 * 美国的统计学家斯通(Stone)在1947年关于国民经济的研究是一项十分著名的工作。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息、外贸平衡等等。 在进行主成分分析后，竟以97.4％的精度，用三个新变量就取代了原17个变量。 实例1: 经济分析 * 根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。 * 主成分分析就是试图在力保数据信息丢失最少的原则下，对这种多变量的数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。 很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。 * 实例2: 成绩数据 100个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。 * 从本例可能提出的问题 目前的问题是，能不能把这个数据的6个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量来对学生排序呢？这一类数据所涉及的问题可以推广到对企业，对学校进行分析、排序、判别和分类等问题。 * 例中的的数据点是六维的；也就是说，每个观测值是6维空间中的一个点。我们希望把6维空间用低维空间表示。 3.1 PCA: 二维数据分析 * 平均成绩 73.7 69.8 61.3 72.5 77.2 72.3 63 72.3 70 单科平均 成绩 74.1 74 70 66.4 73.6 63.3 * * 先假定数据只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐标轴的两个坐标值； 如果这些数据形成一个椭圆形状的点阵（这在变量的二维正态的假定下是可能的）. * ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 3.2主成分分析的几何解释 平移、旋转坐标轴 * ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解