(43)--【脚本】2.4.2 信息熵的基本性质（下）.ppt

2.4信息熵的基本性质

归一化联合概率和条件概率设有两个相互相关的信源X和Y，其信源空间为式中

归一化联合概率和条件概率

归一化联合概率和条件概率

归一化联合概率和条件概率

归一化联合概率和条件概率1

01归一化多维联合和条件概率公式的推广形式为：

01归一化多维联合和条件概率公式的推广形式为：

02在归一化概率条件下，通过增加求和号∑的方法获得所需结果。

02在归一化概率条件下，通过增加求和号∑的方法获得所需结果。

证明：

03在归一化概率条件下，通过消除求和号∑的方法获得所需结果。

证明：

信息熵性质6：强可加性

强可加性：

log前后概率一致的熵：自熵log前后概率不一致的熵：互熵

证明（续）：另一方面，根据联合概率和条件概率的关系，得其另一种形式为

总结在X和Y相互关联情况下：信源XY发某一个符号aibj所提供的平均信息量，等于信源X每发一个符号ai所提供的平均信息量，再加上在X已发符号ai的条件下，信源Y再发一个符号bj所提供的平均信息量。信源XY发某一个符号aibj所提供的平均信息量，等于信源Y每发一个符号bj所提供的平均信息量，再加上在Y已发符号bj的条件下，信源X再发一个符号ai所提供的平均信息量。

信息熵性质7：可加性

可加性：

推广到多个信源的情况可加性：强可加性：