信息论与编码理论习题答案.doc

. . 第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2=23=6 bit 因此，信息速率为 61000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} == 得到的信息量 ===2.585 bit (2) 可能的唯一，为 {6，6} = 得到的信息量===5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) = 信息量===225.58 bit (b) == 信息量==13.208 bit 2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。 解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，， ==6=2.585 bit == =2(36+18+12+9+)+6 =3.2744 bit =-=-[-] 而=，所以= 2-=1.8955 bit 或=-=+- 而= ，所以=2-=1.8955 bit ===2.585 bit =+=1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： =- 因为输入等概，由信道条件可知， 即输出等概，则=10 = =- =0- = -- =25+845 ==1 bit =-=10 -1=5=2.3219 bit 2.11 令{}为一等概消息集，各消息相应被编成下述二元码字 =0000，=0011，=0101，=0110， =1001，=1010，=1100，=1111 通过转移概率为p的BSC传送。求： (a)接收到的第一个数字0与之间的互信息量。 (b)接收到的前二个数字00与之间的互信息量。 (c)接收到的前三个数字000与之间的互信息量。 (d)接收到的前四个数字0000与之间的互信息量。 解： 即，，， =+= ===1+ bit == === bit == =3[1+] bit = = bit 2.12 计算习题2.9中、、、、。 解：根据题2.9分析 =2(++++ +++) =3.5993 bit =-=-=1.0143 bit =-=-=0.3249 bit =-=-=1.0143 bit =-=-=0.6894 bit =-=-=0 bit 2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立 (a)+，给出等号成立的条件 (b)=+ (c) 证明：(b) =- =- =-- =+ (c) =- =[-] [-] =- = 当=，即X给定条件下，Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上，可得 ++ 于是+ 2.28 令概率空间，令Y是连续随机变量。已知条件概率密度为 ，求： (a)Y的概率密度 (b) (c) 若对Y做如下硬判决 求，并对结果进行解释。 解：(a) 由已知，可得 = = =+ = (b) ==2.5 bit