第二章总结与习题.ppt

第二章总结 (1) 单符号离散信源 ① 信息量 自信息、条件自信息概念、性质、计算 互信息、条件互信息概念、性质、计算 互信息的三种表达方式（输入端、输出端、系统总体） ② 熵 信息熵的概念、性质、计算 无条件熵、条件熵（信道疑义度、噪声熵） 平均互信息概念、性质、计算 平均互信息的三种表达方式 平均互信息的凸函数性 I(X;Y)是p(ai)的上凸函数 I(X;Y)是p(bj/ai)的上凸函数 ③ 数据处理定理概念 ④ 理解各种熵之间的关系 (2) 多符号离散信源 ① 离散平稳无记忆信源概念、计算 ② 离散平稳有记忆信源概念、简单计算 条件熵、极限熵概念、简单计算 ③ 马尔可夫信源概念、极限熵计算 ④ 信源冗余度概念、通信效率与可靠性的关系 (3) 连续信源 ① 概念、与离散信源的比较和区别、简单计算 ② 理解最大连续熵定理 ③ 熵功率的概念 (4) 离散无失真信源编码定理 ① 定长编码定理 ② 变长编码定理 作业题1 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 八进制脉冲的平均信息量 二进制脉冲的平均信息量 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 作业题2 2.2.一幅充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 作业题2 解答： (1)任意排列共有 种，则任一排列的自信息量为： (2)应将点数相同花色不同的牌看作一类，则任意抽取的13张牌应在13类种分别进行。其概率为 信息量为： 作业题3 2.3.居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 作业题3 解答：设随机变量X代表女孩子学历 : 设随机变量Y代表女孩子身高 作业题3 已知：在女大学生中有75%是身高160厘米以上的 即： 求：身高160厘米以上的某女孩是大学生的信息量 即： 作业题4 2.4.设离散无记忆信源为: 其发出的信息为: (202120130213001203210110321010021032011223210) 求: (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 作业题4 解 (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 此消息的信息量是： (2) 此消息中平均每符号携带的信息量是： 作业题5 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 作业题5 解：男士发病的分布： 作业题5 解：女士发病的分布： 作业题6 作业题6 作业题7 2.7.同时掷两个正常的骰子，也就是各面呈现的概率都为，求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量； (3) 两个点数的各种组合(无序对)的熵或平均信息量； (4) 两个点数之和(即构成的子集)的熵； (5) 两个点数中至少有一个是1的自信息量。 作业题7 作业题7 作业题7 作业题8 2.8. 证明：H(X1X2 …Xn) ≤ H(X1) + H(X2) + … + H(Xn)。 证明： 作业题9 2.9 证明：H(X3/X1X2) ≤ H(X3/X1)，并说明等式成立的条件。 证明： 作业题9 作业题10 2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下： 作业题10 若把这些频度看作概率测度，求: (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解：设X、Y、Z分别表示{忙 闲}、{晴 雨}和{冷 暖}， (1) 先求忙闲的概率分布 作业题10 (2) 作业题10 (3) =0.1