现代编码技术第1章　通信与编码概述.ppt

第1章　通信与编码概述 　　1. 通信系统的基本模型　　通信系统的基本模型如图1.1所示，组成部分如下：　　信源：消息的发出者。　　信宿：消息的接收者。　　信源编码器：消息的重组单元。　　信道编码器：消息抗毁能力的构建单元。　　信道：消息的传输媒介，如电话机之间的电缆、无线电台之间的电磁空间等。　　干扰源：毁坏传输信号的各种因素的等价体，可分为自然干扰源和人为干扰源两类。如大气的雷电 　　干扰、电离层的扰动等属于自然干扰；信号的转发干扰等属于人为干扰。　　信道译码器：消息的毁坏检验及恢复单元。　　信源译码器：消息的还原单元。　　发送端：从信源到信道前的各部分的总称。　　接收端：从信道后到信宿的各部分的总称。 图1.1　通信系统的基本模型 　　2. 信道模型　　信道是发送端和接收端之间的连接通道，它可以等效为一个输入端和一个输出端的系统，如图1.2所示。 图1.2　信道简化模型 　　根据信道是否存在干扰，可将其分为无噪信道和有噪信道；根据传输信道是否连续，可将其分为离散信道和模拟信道；根据信道当前输出与先前的输入是否有关，可将其分为有记忆信道和无记忆信道；根据信道参数是否随时间而变化，可将其分为恒参信道和随参信道；此外，信道还可以分为二元信道和多元信道，对称信道和非对称信道，有损信道和无损信道等。　　1) 离散信道　　首先，我们来考虑信道的表示。假设发送端发射的信号都取自字符集： X={a1，a2，…，an} 由于信道中存在噪声干扰、传输衰落、传输失真等因素，因此从发送端发出符号ai，在接收端收到的未必是符号ai，甚至于还可能是X中不存在的符号。于是可以假设接收端接收的信号都属于符号集： Y={b1，b2，…，bm}　　对给定的信道进行大量的实验后，经统计可以发现：从发送端符号集中发送的符号ai以概率pij转化为接收端符号集中的bj。为方便起见，概率pij常常表示为条件概率的形式，即 pij=p(bj|ai)　　(i=1，2，…，n；j=1，2，…，m) 这样，用符号转移概率pij就可以充分描述信道特性。为方便起见，引入信道转移矩阵P，即 　　常用的离散信道模型有以下几种：　　(1) 二元对称信道。在这种信道中，X=Y={0，1}，并且p(1|0)=p(0|1)=p，即字符0和1发生错传的概率相同，信道转移矩阵P为　　二元对称信道常常用状态转移图来简化表示，如图1.3所示。 图1.3　二元对称信道 　　(2) 二元删除信道。在这种信道中，X={0，1}，Y={0，1，ω}，Y中的字符ω表示0或1在传输中发生畸变而在接收端产生的一种发送端字符集中不存在的字符。在一个通信系统中，字符0和1分别代表正脉冲和负脉冲，发送端发送出正脉冲或负脉冲后，接收端收到的是受到干扰的畸变正脉冲或负脉冲，当畸变变化比较严重时，无法识别出是正脉冲还是负脉冲，这种接收信号就用ω来表示。ω对接收端是没有意义的，应被删除。畸变脉冲如图1.4所示。 图1.4　接收端收到的畸变脉冲 (a) 畸变的正脉冲；(b) 畸变的负脉冲；(c) 畸变的脉冲ω 　　二元删除信道的信道转移矩阵P为其中，p(ω|0)=p，p(ω|1)=q。 二元删除信道常用图1.5来表示。 图1.5　二元删除信道 　　(3) 多元(N元)对称信道。 　　多元(N元)对称信道常用状态转移图来简化表示，如图1.6所示。 图1.6　多元(N元)对称信道 　　(4) 无记忆扩展信道。字符序列x经信道后转移成y的概率为  二维扩展信道的信道转移矩阵P为 　　2) 输入离散、输出连续的AWGN信道　　AWGN信道的全称是加性高斯白噪声(Additive White Gaussian Noise，AWGN)信道。输入离散、输出连续的AWGN信道具有输入信号是离散的、输出信号是连续的、信道受到的干扰服从高斯分布等特点，是通信中最常用的信道模型之一。图1.7是二元输入离散、输出连续的AWGN信道简化模型。 图1.7　二元输入离散、输出连续的AWGN信道简化模型 　　3. 编码定理　　1) 香农第一定理(无失真压缩编码定理)　　定义1.1.1　设离散信源空间X={a1，a2，…，an}，离散变量ai(i=1，2，…，n)及对应变量的概率分布p(X)为式中， 。　 　　称－lbp(ai)为离散变量ai的自信息量；称为信源空间X的熵，单位为bit。 　　定义1.1.2　设有离散空间X={a1，a2，…，an}和Y= {b1，b2，…，bm}，称为条件熵；称为平均互信息量。其中，p(ai，bj)为离散变量ai与bj的联合概率密度，p(ai|bj)为条件概率密度。 　　定义1.1.3　对信源输出的一列符号序列