第5章信源编码概论.ppt

编码 信息传输需要解决的两个问题： 在不失真或允许一定失真的条件下，如何用尽可能少的信息率来传送信源信息？ 在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大？ 有效性和可靠性 提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的； 反之，要提高信息传输率常常又会使抗干扰能力减弱。 编码 编码的分类 信道编码：以提高信息传输的可靠性为目的的编码 通常通过增加信源的冗余度来实现。 采用的一般方法是增大码率/带宽。 密码：以提高通信系统的安全性为目的的编码 通常通过加密和解密来实现。 从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。 编码 信源编码：以提高通信系统的有效性为目的的编码 信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。 主要任务：减少冗余，提高编码效率。即用较少的码率传送较多的信息，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。 解除相关性：使序列中的各个符号尽可能地互相独立 概率均匀化：使编码中各个符号出现的概率尽可能地相等 编码 无失真编码定理 可逆编码的基础。当信源符号转换成代码后，可从代码无失真地恢复原符号。 适用于离散信源/数字信号编码。 限失真编码定理 对于连续信源，编成代码后就无法无失真地恢复原来的连续值，因为取值可以有无限多个。此时只能根据限失真编码定理进行限失真编码。 适用于连续信源/模拟信号编码。 第5章　信源编码 5.1 编码的定义 5.2 无失真信源编码 5.3　限失真信源编码定理 5.4 常用信源编码方法简介 编码的定义 编码器 输入端为原始信源X X1 X2…Xl…XL ，其符号集为A，即Xl∈ a1, a2,…ai,…an 信道所能传输的符号集B b1, b2,…bj,…bm 编码器的功能是用符号集B中的元素，将原始信源的符号序列Xi变换为相应的符号序列　　　　Yj Y1 Y2…Yj…YKL 编码的定义 设信源输出的符号序列长度为1，即信源符号集为X x1, x2,…xi,…xn ，信源概率空间为 术语 码字： 码长： 码元： 码： 编码： 编码的定义 定长码和变长码 定长码：所有码字的长度都相同 变长码：可变长度码，码中的码字长短不一 编码的定义 奇异码和非奇异码 奇异码：一组码中有相同的码字。如码1 非奇异码：信源符号和码字一一对应，所有码字都不相同。 唯一可译码 任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码。 奇异码不是唯一可译码，而非奇异码中有非唯一可译码（如码2）和唯一可译码（如码3）。 编码的定义 非即时码和即时码 非即时码：指接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。如码3 即时码：无须考虑后续的码符号，即可从码元序列中译出码字。如码4 唯一可译码成为即时码的充分条件是：其中任何一个码字都不是其他码字的前缀。 编码的定义 码树 码树用来表示各码字的构成。 码树 码树用来表示各码字的构成。 码树 中间节点不安排码字，只在终端节点安排码字 每个终端节点对应的码字由从根节点出发到终端节点走过的路径上所对应的符号组成 当第i阶的节点作为终端节点，且分配码字，则码字的码长为i 按树图法构成的码一定满足即时码的定义 树码的各个分支都延伸到最后一级端点，则称为满树，否则为非满树 满树码是定长码，非满树码是变长码 码树 克劳夫特不等式 唯一可译码存在的充分和必要条件为：各码字的长度Ki 应满足下式。 m是进制数，n是信源消息数 注意：克拉夫特不等式只是说明唯一可译码是否存在，并不能作为唯一可译码的判据。 例题 设二进制码树中X x1,x2,x3,x4 ，K1 1, K2 2, K3 2, K4 3，由上述定理，可得 因此不存在满足这种码长的唯一可译码。 唯一可译码的判断法 将码C中所有可能的尾随后缀组成一个集合F，当且仅当集合F中没有包含任一码字，则可判断此码C为唯一可译码。 集合F的构成方法 首先观察码C中最短的码字是否是其它码字的前缀。若是，将其所有可能的尾随后缀排列出。而这些尾随后缀又有可能是某些码字的前缀（或者某些码字是这些尾随后缀的前缀），再将这些尾随后缀产生的新的尾随后缀列出。依此下去，直到没有一个尾随后缀是码字的前缀为止。 按照上述步骤将次短码字、…等等所有码字可能产生的尾随后缀全部列出。最终得到码C的所有可能的尾随后缀的集合F。 例题 例：设码C 0,10,1100,1110,1011,1101 ，根据上述测试方法，判断是否是唯一可译码 解：1. 先看最短的码字：“0”，它不是其他码字