费诺不等式及数据处理讲解.ppt

信息论基本概念 概要 ? 基本概念 ? 链式法则 ? Jensen 不等式 ? 数据处理不等式 ? 费诺不等式 ? 渐进均分性定理 ? 数据压缩 (AEP 的推论 ) 基本概念 - 熵 ? X 是一个离散随机变量 , 取值空间为 X , 概率密度函数 p ( x )=Pr( X = x ), x ? X ; ? 定义 一个离散型随机变量 X 的熵 H ( X ) 定义为 H ( X )=- ? x ? X p (x)log p ( x ) ? 单位为比特 (2 为底 ), 奈特 ( e 为底 ); ? 规定 0log0=0; ? H ( X ) ? 0; ? H b ( X )=log b aH a ( X ); ? H ( p )=- p log p -(1- p )log(1- p ); 基本概念 - 联合熵与条件熵 ? 定义 对于服从联合分布为 p ( x , y ) 的一对离散随机变量 ( X , Y ), 其 联合熵 H ( X , Y )(joint entropy) 定义为 H ( X , Y )=- ? x ? X ? y ? Y p ( x , y )log p ( x, y ) 亦即 H ( X , Y )=- E log p ( x, y ) ? 定义 若 ( X , Y ) ? p ( x, y ), 条件熵 (conditional entropy) H ( Y|X ) 定义为 : H ( Y|X )= ? x ? X p ( x ) H ( Y | X = x ) =- ? x ? X p ( x ) ? y ? Y p ( y | x )log p ( y|x ) =- ? x ? X ? y ? Y p ( x , y )log p ( y|x ) =- E p ( x , y ) log p ( Y|X ) 基本概念 - 相对熵与互信息 ? 定义 两个概率密度函数为 p ( x ) 和 q ( x ) 之间的 相对熵 ( 或 Kullback- Leibler 距离 ) 定义为 规定 0log(0/0)=0, 0log(0/ q )=0, p log( p /0); ? 定义 考虑两个随机变量 X 和 Y , 他们的联合概率密度函数为 p ( x , y ), 其边际概率密度函数分别为 p ( x ) 和 p ( y ). 互信息 I ( X ; Y ) 为联合分布 p ( x , y ) 和乘积分布 p ( x ) p ( y ) 之间的相对熵 , 即 : ? ? ? ? ) ( ) ( log ) ( ) ( log || X q X p E x q x p x p q p D p x ? ? ? ? X ? ? ? ? ? ? ) ( ) ( ) , ( log ) ( ) ( || ) , ( ) ( ) ( , log , ) ; ( ) , ( Y p X p Y X p E y p x p y x p D y p x p y x p y x p Y X I y x p x y ? ? ? ? ? ? ? X Y 基本概念 - 熵与互信息的关系 I ( X ; Y ) H ( X,Y ) H ( X|Y ) H ( Y|X ) H ( Y ) H ( X ) ? I ( X ; Y )= H ( X )- H ( X | Y ) 互信息 I ( X ; Y ) 是在给定 Y 知识的条件下 X 的不确定度的缩减量 . ? I ( X ; Y )= H ( Y )- H ( Y | X ) X 含有 Y 的信息量等同于 Y 含有 X 的信息量 . ? I ( X ; Y )= H ( X )+ H ( Y )- H ( X , Y ) ? I ( X ; Y )= I ( Y ; X ) ? I ( X ; X )= H ( X ) 基本概念 - 条件互信息 ? 条件互信息熵 : 在给定 Z 时由于 Y 的知识而引起关于 X 的 不确定度的缩减量 . ? 定义 随机变量 X 和 Y 在给定随机变量 Z 时的 条件互信息 (conditional m