第2节-数据无损压缩.ppt

多媒体技术教程第2章 数据无损压缩 第2章 数据无损压缩目录 2.1 数据的冗余 2.1.1 冗余概念 2.1.2 决策量 2.1.3 信息量 2.1.4 熵 2.1.5 数据冗余量 2.2 统计编码 2.2.1 香农-范诺编码 2.2.2 霍夫曼编码 2.2.3 算术编码 2.3 RLE编码 2.4 词典编码 2.4.1 词典编码的思想 2.4.2 LZ77算法 2.4.3 LZSS算法 2.4.4 LZ78算法 2.4.5 LZW算法 参考文献和站点 2.0 数据无损压缩概述 数据可被压缩的依据 数据本身存在冗余 听觉系统的敏感度有限 视觉系统的敏感度有限 三种多媒体数据类型 文字 (text)数据——无损压缩 根据数据本身的冗余(Based on data redundancy) 声音(audio)数据——有损压缩 根据数据本身的冗余(Based on data redundancy) 根据人的听觉系统特性( Based on human hearing system) 图像(image)/视像(video) 数据——有损压缩 根据数据本身的冗余(Based on data redundancy) 根据人的视觉系统特性(Based on human visual system) 2.0 数据无损压缩概述(续1) 数据无损压缩的理论——信息论(information theory) 1948年创建的数学理论的一个分支学科，研究信息的编码、传输和存储 该术语源于Claude Shannon (香农)发表的“A Mathematical Theory of Communication”论文题目，提议用二进制数据对信息进行编码 最初只应用于通信工程领域，后来扩展到包括计算在内的其他多个领域，如信息的存储、信息的检索等。在通信方面，主要研究数据量、传输速率、信道容量、传输正确率等问题。 数据无损压缩的方法 霍夫曼编码(Huffman coding ) 算术编码(arithmetic coding) 行程长度编码(run-length coding) 词典编码(dictionary coding) …… 2.0 数据无损压缩概述(续2) 信息论之父介绍 The Father of Information Theory——Claude Elwood Shannon Born: 30 April 1916 in Gaylord, Michigan, USA Died: 24 Feb 2001 in Medford, Massachusetts, USA 2.1 数据的冗余 冗余概念 人为冗余 在信息处理系统中，使用两台计算机做同样的工作是提高系统可靠性的一种措施---冗余设备 在数据存储和传输中，为了检测和恢复在数据存储或数据传输过程中出现的错误，根据使用的算法的要求，在数据存储或数据传输之前把额外的数据添加到用户数据中，这个额外的数据就是冗余数据---检错码，纠错码 视听冗余 由于人的视觉系统和听觉系统的局限性，在图像数据和声音数据中，有些数据确实是多余的，使用算法将其去掉后并不会丢失实质性的信息或含义，对理解数据表达的信息几乎没有影响 数据冗余 不考虑数据来源时，单纯数据集中也可能存在多余的数据，去掉这些多余数据并不会丢失任何信息，这种冗余称为数据冗余，而且还可定量表达 2.1 数据的冗余(续1) 决策量(decision content) 在有限数目的互斥事件集合中，决策量是事件数的对数值 在数学上表示为 H0=log(n) 其中，n是事件数 决策量的单位由对数的底数决定 Sh (Shannon): 用于以2为底的对数 Nat (natural unit): 用于以e为底的对数 Hart (hartley)：用于以10为底的对数 2.1 数据的冗余(续2) 信息量(information content) 具有确定概率事件的信息的定量度量 在数学上定义为  其中， 是事件出现的概率 一个等概率事件的集合，每个事件的信息量等于该集合的决策量 举例：假设X={a,b,c}是由3个事件构成的集合，p(a)=0.5，p(b)=0.25，p(b)=0.25分别是事件a, b和c出现的概率，这些事件的信息量分别为， I(a)=log2(1/0.50)=1 sh I(b)=log2(1/0.25)=2 sh I(c)=log2(1/0.25)=2 sh p(a)=0.5是符号a 在I中出现的概率； log2(1/ p(a))表示包含在I 中的信息量，也就是编码a所需要的位数