Ch2例题与证明四要点.docx

连续信源的熵与互信息 在通信中模拟信号比如语音、图像未数 字化以前均属于连续信源。 它在概念上与离 散信源是不同的，但也有不少类似之处。 对连续信源的分析，也可以类似于离散信源 从单个连续消息(变量)开始，在推广至连 续消息序列。对于连续随机变量可采用概率 密度来描述；对连续随机序列可采用相应的 序列概率密度来描述；而对于连续的随机过 程一般也可以按照取样定理分解为连续随 机变量序列来描述。 > 单个连续消息的随机变量信源 连续随机变量可以看作是离散随机变 量的极限，故可采用离散随机变量来逼近。 下面，将采用这一观点讨论连续信源的信息 熵与信息量。 并满足 Jr p(x)dx = 1首先类比概率P 并满足 Jr p(x)dx = 1 X : { > I p(x)J n份，每份宽度为△=个区间的概率为pi，贝ya + i △ n份，每份宽度为△= 个区间的概率为pi，贝y a + i △ Pi= I p(u)du 二 Pi a + (i - ,则u处于第i p(ui p(ui) △(中值定理) 即当p(u)为u的连续函数时，由中值定理, 必存在一个Ui值，使上式成立 再按照离散信源的信息熵的定义有： H(u)=—送 p log pi i 二一艺 p(uiV △ log[ p(ui)也] i = —送 p(ui) riog p(ui) + log也] i lim Hn(U ) = lim - 2 p(ui)[log p(u)]仏-lim 2 p(Ui)[log 也]也 nT处 nT比 nT处 i i b 二-J p(u)log p(u)du - lim 徉 p(」)也)log 也 A-? 0 a i b 二-J p(u)log p(u)du + 或 a 于是我们定义前一项取有限值的项为连 续信源的信息熵，并记为 H=(U). b 即： 耳2)= 一 J p(u)log P(u)du a 也可记为：H(U)= 5(u)log p(u)du H(U)则是R其中R1= (2, + *)表示实轴 注意：Ht(U)是连续信源的熵，而不是连续 信源输出的信息量，而连续信源输出的信息 量是H(U).这就是说，在离散信源中信源输 出信息量就是信源熵，两者是一个概念；但 是在连续信源中则是两个概念，且不相等。 连续信源输出信息量 H(U)是一个绝对值， 它取值于e, H(U)则是 连续信源的熵 H(U)是一个过渡性的概 念，它虽然也具有可加性，但不一定满足非 负性，它可以不具有信息的全部特征 比如，对一个均匀分布的连续信源，按 照定义，有 b 1 1 Hc(U)二-J——log ——du a b- a b- a 二 log(b- a) 显然，当 b-a<1 时，Ht(U)<0, 这说明它不具备非负性。 但是连续信源输出 的信息量由于有一个无限大量的存在， H(U) 仍大于0。这里，我们仍将 HC(U)定义为连 续信源的熵，理由有二：一是由于它在形式 上于离散熵相似： 离散熵：H(U)=Y plogpi i 连续熵：Hc(u)= ■ J p(u)log p(u)du R pi ㈠ p(u),无㈠ J du i R 另一个更重要的原因是在于实际处理问题 时，比如互信息、信道容量、信息率失真函 数等可涉及到的仅是熵的差值，即互信息。 这时，只要相差的两个连续熵在逼近时可取 的△是一致的，两个同样的无限大的尾巴就可以互相抵消。可见，Ht(U)是具有相对性, 它是为了引入互信息等重要概念而引入的 一个过渡性的概念。 同理，还可进一步定义如下连续随机变量的 熵： 条件熵与联合熵： Hc(V) Hc(V)二 Hc(U ,V) R -H p(u)P(%)log p(%)dudv R -J!q(v)Q(Uv)logQ(Uv)dudv JJ r(u,v)logr(u,v)dudv R 且有：Hc(U,V)= Hc(U)+ Hc(%)= Hc(V) + Hc(%) 几种特殊连续信源的熵 1.均匀分布的连续信源的熵 一维连续随机变量 X在［a,b］区间内均 匀分布时，已求得其熵为 Hc(X) = Iog2(b- a) 若N维矢量x =(XiX2…Xn )中各分量彼此统 计独立，且分别在【印加^心］…［aN'bN】的区域内均 匀分布，即有 NX5 N X5 (bi - aj i=1 I —N pg』」") N X童 n (bi - aj i=1 可以证明，N维均匀分布连续信源的熵为 Hc(X) = Hc(XiXj Xn) bN bi =-/■■■ ! p(X)log 2 p(xjdxj" dxN bN b1 .I bN b1 . I■■- f 1 aN a1n (bi-aj irn log 2 __1 dx1 …dxN n (bi -aj i rn a」 a」 =