(12)--5.5.1信息论基础信息论基础.ppt

有噪信道的译码和编码

回顾：必须用信道的输入符号集作为码符号集对信源符号进行编码，才能使信源适合于信道传输。如要进行无失真通信，通信系统中的信道必须是无噪离散信道，故上面的“无失真信源编码”本质上与“无噪离散信道编码”是等价的。

信道编码为了使通信有效而可靠，可在信源编码器的输出与信道的输入之间再进行一次编码，提高其抗干扰能力。

“有噪信道编码”“有噪信道译码”

通信的基本特点通信过程不是信息传输到信道输出端结束，需要经过译码过程才能到达信宿。01除信道转移特性，译码过程和译码规则影响错误概率。02

二元对称信道（BSC）0.90.9a1=0输入a2=10=b1输出1=b20.10.1例二元对称信道，输入符号为等概。

1）译码：0→0，1→1；错误译码概率：2）反之，译码：0→1，1→0；错误译码概率：例二元对称信道（BSC）0.90.9a1=0输入a2=10=b1输出1=b20.10.1二元对称信道，输入符号为等概。如果译码规则为：

译码规则（2）优于译码规则（1）错误译码概率与信道统计特性、译码规则有关

错误概率与译码规则定义：信道输入随机变量X，值域A:{a1,a2,…,ar}，输出随机变量Y，值域B:{b1,b2,…,bs}，若对bj,(j=1,2,…,s)，确定单值函数F(bj)，使得译码函数

译码规则共有rs种。显然，其性能是有差异的。错误概率与译码规则定义：信道输入随机变量X，值域A:{a1,a2,…,ar}，输出随机变量Y，值域B:{b1,b2,…,bs}，若对bj,(j=1,2,…,s)，确定单值函数F(bj)，使得译码函数

信道转移概率矩阵为例A信道输入值域A:{a1,a2,a3}，输出值域B:{b1,b2,b3}

信道转移概率矩阵为例A信道输入值域A:{a1,a2,a3}，输出值域B:{b1,b2,b3}共有rs=27种译码规则，设计两个译码规则如下：

仅有很少的规则性能优良。需要从理论上解决选择最佳的译码规则的一般方法。

定义收到bj条件下，译码的条件正确译码概率为译码的条件错误译码概率为译码后的平均错误译码概率为最佳译码规则：使PE为最小的译码规则。式中，E表示除F(bj)=ai外，所有输入符号的集合。

使之满足条件选择译码函数称为最大后验概率译码规则（最小错误概率准则）。定义

根据贝叶斯公式，上述条件式可以写成:当P(bj)≠0时，可进一步改写为再假定信源等概时，定义有条件最佳的最大似然译码规则。

定义选择译码函数使之满足条件称为最大似然译码规则。最大似然译码准则的译码函数：收到P(bj)后，译成信道转移概率矩阵P中第j列中最大的转移概率所对应的ai。最大似然译码准则不依赖先验概率：当先验概率等概时，与最大后验概率译码准则等价。

可导出平均错误译码概率：——对联合概率矩阵[P(aibj)]中除P(a*bj)以外的所有(r-1)s个元素求和。X-a*——集合A中除P(bj)=a*以外的所有元素。可导出平均正确译码概率：

还可导出平均错误译码概率：其中，——是某个输入符号ai传输所引起的错误概率。如果先验概率为等概分布，可进一步有：计算时，可选择不同公式。

信道转移概率矩阵为：续例A设计的两个译码规则如下：当输入为等概分布时，计算两种译码规则对应的平均错误译码概率。

信道转移概率矩阵为：续例A设计的两个译码规则如下：当输入为等概分布时，计算两种译码规则对应的平均错误译码概率。当输入为等概分布时，译码规则R2是最大似然译码规则。

平均错误译码概率：将信道转移概率矩阵中正确译码的概率去掉，剩下元素求和再除以信源符号个数r。

计算两种译码规则所对应的平均错误译码概率分别为所以，输入等概时最大似然译码的平均错误概率最小。