LDA线性判别分析.ppt

LDA(线性判别分析);无监督学习：聚类。训练数据没有标签。K_means，PCA,随机森林;半监督学习：其训练数据的一部分是有标签的，另一部分没有标签。在很多实际问题中，只有少量的带有标记的数据，因为对数据进行标记的代价有时很高半监督分类，半监督聚类。;?降维的目的： 1.减少预测变量的个数 在人脸识别中特征提取及数据维，假设输入200*200大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面分类器的处理将带来极大的难度。 2.确保这些变量是相互独立的 有效信息的提取综合及无用信息的摈弃。 3.提供一个框架来解释结果 ;降维标准： 投影后类内方差最小，类间方差最大。我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。;LDA人脸识别（Fisherface）;以数学公式给出投影点到到原点的距离：;类均值点投影到w上的中心为：;把散列函数展开：;展开J(w)的分子并定义SB，SB称为Between-class scatter。;上式两边同乘以;降维会不会对性能造成影响。 并不是直接对原来的数据进行删减，而是把原来的数据映射到新的一个特征空间中继续表示，所有新的特征空间如果有19维，那么这19维足以能够表示非常非常多的数据，并没有对原来的数据进行删减，只是把原来的数据映射到新的空间中进行表示，所以你的测试样本也要同样的映射到这个空间中进行表示，这样就要求你保存住这个空间坐标转换矩阵，把测试样本同样的转换到相同的坐标空间中。;得到了k个特征向量，如何匹配某人脸和数据库内人脸是否相似呢，方法是将这个人脸在k个特征向量上做投影，得到k维的列向量或者行向量，然后和已有的投影求得欧式距离，根据阈值来判断是否匹配。;1) 计算类内散度矩阵 Sw 2) 计算类间散度矩阵 Sb 3) 计算矩阵Sw?1Sb 4）计算Sw?1Sb的最大的d个特征值和对应的d个特征向量(w1,w2,...wd),得到投影矩阵 5)?对样本集中的每一个样本特征xi,转化为新的样本zi=WTxi 6) 得到输出样本集