第二章随机过程的信息度量和渐近等分性解析.ppt

* * 信源编码定理告诉我们: 只要编码的码率R大于信源的熵,则必存在编译码方案,使当被编译的信源分组长 n 趋于无穷大时,译码误差概率可以充分小,这解决了最优码的存在问题. 信源编码定理 * 10.Shannon-McMillan-Breiman定理 * Shannon-McMillan-Breiman定理 * Shannon-McMillan-Breiman定理 * Shannon-McMillan-Breiman定理 * Shannon-McMillan-Breiman定理 * 例 信源X的信源模型为 输出符号序列中，只有前后两个符号之间有记忆，条件概率空间见右表。求熵率并比较 H(X)、H(X2|X1) 、 1/2H(X1X2)的大小. 条件概率 * 解 1) 比特/符号 2) 如果不考虑符号间的相关性，则信源熵为 比特/符号 3) 如果把信源发出的符号看成是分组发出的，每两个 符号为一组，这个新信源的熵为 比特/两个符号 结论 * 马尔可夫信源是一类相对简单的有记忆信源. 信源在某一时刻发出某一符号的概率，除与该符号有关外，只与此前发出的有限个符号有关。或者说任何时刻信源符号发生的概率只与前面已经发生过的若干个符号有关，而与更前面的符号无关. (1) 定义 马尔可夫信源 * 对于 m 阶马尔可夫信源 (2) 熵率 如何计算条件熵？ 条件概率 通常是已知的，我们 需要求解的是联合概率 . 马尔可夫信源 * (3) 马尔可夫信源 马尔可夫链 马尔可夫信源 * 例1 设一个二元一阶马尔可夫信源，信源符号集为 ， 输出符号的条件概率为 用状态转移图来描述该信源。 二元一阶马尔可夫信源的转移概率矩阵与状态转移图 * * 原状态为00，则此刻只可能发出0或1.所以只可能转到00、01状态. 由于00状态时发信号0的概率为0.8，所以转移概率0.8. * 平稳遍历信源：即信源序列是平稳遍历过程. 随机过程可以从 任一状态有限 步到达任何 其他状态 * 反例 例3.非遍历信源—状态转移图 类似于概率论中著名的 两端带有吸收壁的随机游动问题. 质点最终一定被两端点之一吸收！ * （4）马尔可夫链 设 为一随机序列，如果对所有 ，有 则称 为马尔可夫链. 如果马尔可夫链的状态空间 有限，则称 为有限状态马尔可夫链；如果状态空间 是无穷 集合，则称为可数无穷状态的马尔可夫链. 马尔可夫信源 * 状态转移概率（描述马氏链最重要的参数） 状态转移概率的性质 一步转移概率 k步转移概率 马尔可夫信源 * 齐次马氏链可以用转移概率矩阵或状态转移图来描述. 如果马氏链状态转移概率与起始时刻无关，即对任意m，有 ，则称为齐次马尔可夫链，也称具有平稳转移概率的马尔可夫链. 马尔可夫信源 * 信源的相关性就是信源符号间的依赖程度。 设信源有q个符号，那么对于不同情况可以分别计算信源的熵 （独立等概信源） （平稳无记忆信源） (一阶马尔可夫信源) (有记忆) (m阶马尔可夫信源) (有记忆) （记忆长度无限的信源） 7.信源的相关性和冗余度 * 对同一信源，采用不同的模型，计算得到的熵的关系为 由此可见，由于信源输出符号之间的依赖关系而使信源的平均符号熵减少。如果它们之间的依赖关系即相关性越大，信源的平均符号熵越小。并且，只有当信源输出符号之间彼此独立且各符号以等概率分布时，信源的符号熵才有最大值。为了衡量信源的相关性程度，引入信源冗余度的概念。 信源的相关性和冗余度 * 信源熵的相对率：信源实际信息熵与具有同样符号集的最大熵的比值，通常也称为效率。 信源的冗余度 首先给出熵的相对率的定义 冗余度越低,信源输出信号携带信息的有效性越高. 信源的相对冗余度（剩余度） 7.信源的相关性和冗余度 * 例 计算汉字的剩余度。 假设常用汉字约为10000个，其中140个汉字出现的概率占50%，625个汉字（含140个）出现的概率占85%，2400个汉字（含625个）出现的概率占99.7%，其余7600个汉字出现的概率占0.3%，不考虑符号间的相关性，只考虑它的概率分布，在这一级近似下计算汉字的剩余度. * 解 为了计算方便，假设每类中汉字出