多元统计分析多元统计分析 (27).ppt

应用多元统计分析 第五章、判别分析第4讲、贝叶斯判别准则 所谓Bayes判别准则,就是给出空间Rm一个划分D={D1,D2,…,Dk},使得当通过这个划分D来判别归类时,所带来的平均损失达到最小. 1、错判概率和错判损失 P(j|i;D)(或简记为P(j|i))表示用判别法D把实属Gi的样品错判为Gj的概率. 当总体Gi的分布密度已知（记为 fi(x1,...,xm),可以计算错判概率: 错判概率P(j|i)估计方法有以下几种： ① 利用训练样本作为检验集; ② 可留出一些已知类别的样品不参加建立判别准则，而是作为检验集; ③ 舍一法(或称交叉确认法)，每次留出一个已知类别的样品,而用其余n-1个样品建立判别准则，然后对留出的这一个已知类别的样品进行判别归类.对训练样本中n个样品按此法逐个归类后，最后把错判的比率作为错判率的估计. 在实际问题中,错判的损失可以给出定性的分析,但很难用数值来表示.但应用Bayes判别准则时,要求定量地给出L(j|i)，这里L(j|i)表示样品实属第i个总体Gi, 判别时被错判为Gj(j≠i)时所造成的损失. L(j|i)的赋值法常用的有以下两种:(a) 由经验人为赋值.例如 L(判癌|得肺结核)=10, L(判肺结核|得癌症)=1000.(b) 假定各种错判损失都相等. 2、关于先验概率的平均损失 有了先验概率的概念后,判别法D关于先验概率的错判平均损失g(D)定义为其中 rt(D)表示实属Gt的样品被错判为其他总体的损失. 定义5.2.1设有k个总体:G1,G2,…,Gk,相应的先验概率为q1,q2,…,qk(qi0,q1+…+qk=1).如果有判别法D*,使得D*带来的平均损失g(D*)达最小,即则称判别法D*符合Bayes准则,或称D*为Bayes判别的解.3、贝叶斯判别准则 4、符合贝叶斯准则的判别法(贝叶斯判别的解) 定理5.2.1:设有k个总体:G1,G2,…,Gk,已知Gi的联合密度函数为fi(X),先验概率为qi(i=1,…,k),错判损失为L(j|i).则Bayes判别的解D*={D*1,…,D*k}为 它表示把样品X判归Gj的平均损失。 证明：根据定义5.2.1来证明D*带来的平均损失最小。 于是如果D={D1,…,Dk}是Rm上的任一种划分,则它带来的平均损失为 根据定义5.2.1由知D*是Bayes判别的解.判别方法: 对样品X,分别计算k个hj(X)(j=1,…,k),选其最小者, 即可判定样品来自相应的总体. 由D*的定义知在D*t 上恒有 ht(X)hj(X) (j=1,…,k)，所以即 推论 当错判损失都相等(当i不等于j时, L(i|j)=1),根据hj(X)的公式,即得Bayes判别的解D*={D*1,…,D*k}为事实上 ??5、正态总体的贝叶斯判别法 经整理可得Bayes判别的解 D*={D*1,…,D*k}为称为线性判别函数.马氏距离判别法lnqt ?其中广义平方距离判别法 小结Bayes 判别准则：错判平均损失解为把样品X判归Gj的平均损失 Bayes判别法后验概率最大判别法广义平方距离最短判别法错判损失相等错判损失相等 正态总体正态总体