信息论与编码第二章.doc

第二章 2.9 (1)对于离散无记忆信源 2.9 (1)对于离散无记忆信源DMS X xl x2 L q(xy — .P 1-P. ，试证明: H(X)=H2(p)=-p log p-(l-p)log(l-p) 当p=l/2时，H(X)达到最大值。 (2)对(1)中的DMS,考虑它的二次扩展信源X ={(xlxl),(xlx2),(x2xl),(x2x2)})证明：h(X⑵)=2H(X)。 解： (1)函数H(X) plogp (1 p)log(l p)中的变量p在()到1中取 值，从函数的结构上可以知道该函数在区间［(),1］上是关于p=l/2 对称的函数。 H(X) ［-plogp-(l-p)log(l-p)］ log (pi) pp (1 p) plln2 Un2(l p) lln2 log(l p) pln2(l p) logl pln2(l p) log (1 p) p 0 在区间［(),().5］上l-p>p,则(1-p) /p>l,所以log,在此区间上 H(x)>0, H(x)单调递增。又该函数是在区间［0,1］上是关于p=l/2 对称的函数，那么在区间［0.5,1］上单调递减。 所以，H(X) H2(p) plogp (1 p)log(l p)在 p=l/2 时，H(X) 达到最大值。 (2)二次扩展后的矩阵: ? x i r xixi .q（x）LI p2 xlx2 P（l-P） x2xl P（l-P） x2x2 ' （1 - P）2 ■ 解： I (xj =-logl/l()()=logl()()(bit) 总信息量为:nI(xJP(xJ+nl(X2)P(X2) 平均：(1 /n)[nI(x1)P(x,)+nl(x2)P仗勿=0.93(bit) X xi x2 2.19给定信源円(尤)]=[0.6 0.4], (1)该信源是平稳信源吗？计算信源炳； 龙3 (2)计算H(X3),并列出信源g3)]； ⑶计算H (x3|xlx2)及N维扩展信源在N趋于无穷时的爛 解： (1) H (x) =-0.61og().6-0.41og().4 (bit/符号) H (x) v=NH(x) 是平稳信源 (2) i = lW^=3H(x)=-1.81og().6-1.21og().4 (bit/符号) 2 * 、 X=X = {x1X1X1,X1XiX2,X2X1X1>X1X2XbX1X2X2>X2XIX2,X2X2XbX2X2X2} 记 XiXjXc=bk>k=0 7 3 X W “2 3 则 [q&)]=〔 27/125 18/125 18/125 b3 “4 “5 b6 b7 18/125 12/125 12/125 12/125 8/125] ⑶ H（x3|xlx2）=2￡jP（xlx2x3）10 髀（X3|X1X2） N维扩展信源在N趋于无穷时，q（x紛几乎相等。 所以,2i+j》iogq（x￥）=2￡jiogi=o lim Hn （x）= x2P(1 - P)xiP(l-P)" x2 P(1 - P) xi P(l-P)"1 的 X X1 2.27证明几何分布h(x)L [ P H2(p) 爛为 H(X)= P 。 证明：由题意可得，x的二维扩展概率分布为： xixj .q (xixj). ?xlxl xlx2 ... xlxi x2xl x2x2 ???■ P' P(l-P)…P2(l-P)，_1 P2(l-P)P2(l-P)2 ... x2xi 2“ 7一1 2心 xi- 1 2" xi -1 2。 、i—l :p (1 - p) ... p (1 - p) p (1 - p) ... p (1 - p) H (x) =-plogp-p(l-p)logp(l-p)---p(l-p)*"1 logp(l-p)*'1 H2(p)=-p2logp2-p2(l -p)lc)gp2(l -p) ??-p'a-p)2"2logp2(l -p 严 将比(p)进行化简，可得：H2 (p) =H (x) p H2 (p) 所以，H (x) = P 如有侵权请联系告知删除，感谢你们的配合！