《信息论与编码_第12讲_信源编码1.pptx

1、第1页2024-4-146.1 信源编码概论信源编码概论6.2 变长编码方法变长编码方法6.3 实用的无失真信源编码方法实用的无失真信源编码方法6.4 信源编码总结信源编码总结Electronics Engineering Department,XXXX Xxx Xxx XxxxXxxx第2页2024-4-146.1.1 概述概述6.1.2 信源编码及分类信源编码及分类第3页2024-4-14香农编码定理虽然指出了理想编码器的存在性，但是并没香农编码定理虽然指出了理想编码器的存在性，但是并没有给出实用码的结构及构造方法；有给出实用码的结构及构造方法；编码理论正是为了解决这一问题而发展起来的科学

2、理论；编码理论正是为了解决这一问题而发展起来的科学理论；编码的目的是为了编码的目的是为了优化通信系统优化通信系统，使这些指标达到最佳；，使这些指标达到最佳；通信系统的性能指标主要是通信系统的性能指标主要是有效性有效性、可靠性可靠性、安全性安全性和和经经济性济性，除了经济性外，这些指标正是信息论研究的对象。，除了经济性外，这些指标正是信息论研究的对象。按不同的编码目的，编码分为三类：按不同的编码目的，编码分为三类：信源编码信源编码、信道编码信道编码和和保密编码保密编码（密码）。（密码）。6.1引言第4页2024-4-14信源编码：信源编码：提高通信有效性提高通信有效性为目的的编码。通常通过压缩为

3、目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是信源的冗余度来实现。采用的一般方法是压缩压缩 每个信源每个信源符号的符号的平均比特数平均比特数或信源的或信源的码率码率。即同样多的信息用较少。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。提高通信的有效性。信道编码：信道编码：提高信息传输的可靠性提高信息传输的可靠性为目的的编码。通常通为目的的编码。通常通过过增加增加 信源的信源的冗余度冗余度来实现。采用的一般方法是来实现。采用的一般方法是增大码增大码率（带宽）率（带宽）。与信源编码正好相反。与

4、信源编码正好相反。保密编码：保密编码：提高通信系统的安全性提高通信系统的安全性为为目的的编码。通常通目的的编码。通常通过过加密加密和和解密解密来实现。从信息论的观点出发，来实现。从信息论的观点出发，“加密加密”可可视为增熵的过程，视为增熵的过程，“解密解密”可视为减熵的过程。可视为减熵的过程。6.1引言第5页2024-4-14(1)信源编码的理论基础信源编码的理论基础信源编码理论是信息论的一个重要分支，其理论基础是信信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。源编码的两个定理。无失真信源编码定理：无失真信源编码定理：是离散信源数字信号编码的基础；是离散信源数字信号编码的

5、基础；限失真信源编码定理：限失真信源编码定理：是连续信源模拟信号编码的基础。是连续信源模拟信号编码的基础。6.1引言第6页2024-4-14(2)信源编码的分类信源编码的分类 根据信源特性根据信源特性q 离散信源编码：离散信源编码：独立信源编码，可做到无失真编码；独立信源编码，可做到无失真编码；q 连续信源编码：连续信源编码：独立信源编码，只能做到限失真信源编码；独立信源编码，只能做到限失真信源编码；q 相关信源编码：相关信源编码：非独立信源编码。非独立信源编码。根据压缩的特性根据压缩的特性q 冗余度压缩编码：冗余度压缩编码：可逆压缩，经编译码后可以无失真地恢复。可逆压缩，经编译码后可以无失真

6、地恢复。q 熵压缩编码：熵压缩编码：不可逆压缩。不可逆压缩。6.1引言第7页2024-4-14(3)数据压缩概貌数据压缩概貌KLT：Karhunen-Loeve TransformDCT：Discrete Cosine TransformDST：Discrete Sinusoid TransformDFT：Discrete Fourier TransformWHT：Walsh-Hadamard TransformSLT：Slant TransformHAAR：Haar TransformLPC-10：Government Standard Linear Predictive Coding Al

7、gorithm:LPC-10MELP：Mixed Excited Linear Predictive CodingCELP：Codebook Excited Linear Predictive Coding ACELP：Algebraic Cocebook Excitation LPCQCELP：Qualcom Cocebook Excitation LPCEVRC：Enhanced Variable Rate CodecLD-CELP：Low Delay-CELP28 种6.1引言第8页2024-4-14(3)数据压缩概貌数据压缩概貌CS-ACELP：Conjugate-Structure

8、Algebraic CELPVSELP：Vector Sum Excitation LPC RPE-LT：Long Time Predictive Regular-Pulse Excitation LPCMPLPC：Multi-Pulse Excitation LPC MP-MLQ：Multipulse Maximum Likelihood QuantizationMBE：Multi-Band Excitation Speech CoderSTC：Sinusoid Transform CocingCVSD：Continuously Variable Slope Delta ModulatorS

9、B-ADPCM：Sub-Band Adaptive Differential Pulse Code Modulation PTC：PictureTel Transform CoderAC-2；AC-3：Digital Audio Compression Standard，美国，美国 Dolby公司公司AAC：Advanced Audio Coding,日本日本138187,MPEG-2 MUSICAM：Masking Pattern Adapted Universal Subband Integrated Coding and MultiplexingATRAC：Adaptive Transf

10、orm Acoustic Coder6.1引言第9页2024-4-14(3)数据压缩概貌数据压缩概貌6.1引言第10页2024-4-14 有些编码原理和技术在通信原理和信号处理等相关课程有些编码原理和技术在通信原理和信号处理等相关课程中已经介绍过。例如：中已经介绍过。例如：连续信源编码：连续信源编码：脉冲编码调制（脉冲编码调制（PCM）、矢量量化技术）、矢量量化技术相关信源编码：相关信源编码：预测编码：预测编码：增量编码、差分脉冲调制（增量编码、差分脉冲调制（DPCM）、自）、自适应差分脉冲调制（适应差分脉冲调制（ADPCM）、线性预测声码器；）、线性预测声码器；变换编码：变换编码：K-L 变

11、换、离散变换、子带编码、小波变变换、离散变换、子带编码、小波变换。换。6.1引言第11页2024-4-146.2.1 香农编码香农编码6.2.2 费诺编码费诺编码6.2.3 霍夫曼编码霍夫曼编码第12页2024-4-14 设离散无记忆信源：设离散无记忆信源：二进制香农码的编码步骤如下：二进制香农码的编码步骤如下：q 将信源符号按概率从大到小的顺序排列，为方便起见，令：将信源符号按概率从大到小的顺序排列，为方便起见，令：p(x1)p(x2)p(xn)q 令令 p(x0)=0，用，用 pa(xj)，j=i+1 表示第表示第 i 个码字的个码字的累加概率累加概率，则：则：niininixpxpxpx

12、pxpxxxxXPX121211)(,)(.,),(.,),(),(.,.,)(njxpxpjiija,.,2,1,)()(10 6.2变长编码方法第13页2024-4-14 设离散无记忆信源：设离散无记忆信源：二进制香农码的编码步骤如下：二进制香农码的编码步骤如下：q 确定满足下列不等式的整数确定满足下列不等式的整数 li，并令，并令 li 为第为第 i 个码字的长度个码字的长度log2 p(xi)li 1log2 p(xi)q 将将 pa(xj)用二进制表示，并取小数点后用二进制表示，并取小数点后 li 位作为符号位作为符号 xi 的编的编码。码。niininixpxpxpxpxpxxxx

13、XPX121211)(,)(.,),(.,),(),(.,.,)(6.2变长编码方法第14页2024-4-14例例6-1：有一单符号离散无记忆信源：有一单符号离散无记忆信源：对该信源编二进制香农码。其编码过程如表对该信源编二进制香农码。其编码过程如表6-2 所示。所示。05.010.015.020.025.025.0,)(654321xxxxxxXPX6.2变长编码方法njxpxpjiija,2,1,)()(10 第15页2024-4-14例例6-1：计算出给定信源香农码的平均码长：计算出给定信源香农码的平均码长：若对上述信源采用等长编码，要做到无失真译码，每个符若对上述信源采用等长编码，要做

14、到无失真译码，每个符号至少要用号至少要用 3 个比特表示。相比较，香农编码对信源进行个比特表示。相比较，香农编码对信源进行了压缩。了压缩。0.25 2 2(0.20.15)30.10 40.05 52.7/L （比比特特 符符号号）6.2变长编码方法第16页2024-4-14例例6-1：由离散无记忆信源熵定义，可计算出信源熵为：由离散无记忆信源熵定义，可计算出信源熵为：对上述信源采用香农编码的信息率为：对上述信源采用香农编码的信息率为：编码效率为信源熵和信息率之比。则：编码效率为信源熵和信息率之比。则：可以看出，编码效率并不是很高。可以看出，编码效率并不是很高。符号）符号）（比特（比特/42.

15、2)(log)()(612 iiixpxpXH2,1/7.22log17.2log22 rNrNLRN这里这里符号）符号）（比特（比特%63.897.242.2)(RXH）量量（符符号号能能载载荷荷的的最最大大信信息息是是编编码码后后平平均均每每个个信信源源38.Plog2rNLRN 6.2变长编码方法第17页2024-4-14将概率按从大到小的顺序排列，令：将概率按从大到小的顺序排列，令：p(x1)p(x2)p(xn)按编码进制数将概率分组，使每组概率尽可能接近或相按编码进制数将概率分组，使每组概率尽可能接近或相等。如等。如编二进制码就分成两组，编二进制码就分成两组，编编 r 进制码就分成进

16、制码就分成 r 组。组。给每一组分配一位码元。给每一组分配一位码元。将每一分组再按同样原则划分，重复步骤将每一分组再按同样原则划分，重复步骤 2 和和 3，直至，直至概率不再可分为止。概率不再可分为止。6.2变长编码方法第18页2024-4-14例例6-2：设有一单符号离散信源设有一单符号离散信源对该信源编二进制费诺码。编码过程如表对该信源编二进制费诺码。编码过程如表6-3。04.008.016.018.022.032.0,)(654321xxxxxxXPX6.2变长编码方法第19页2024-4-14例例6-2该信源的熵为：该信源的熵为：平均码长为：平均码长为：对上述信源采用费诺编码的信息率为：对上述信源采用费诺编码的信息率为：编码效率为：编码效率为：本例中费诺编码有较高的编码效率。费诺码比较适合于本例中费诺编码有较高的编码效率。费诺码比较适合于每次分组每次分组概率都很接近概率都很接近的信源。特别是对每次的信源。特别是对每次分组概率都相等分组概率都相等的信源进行的信源进行编码时，可达到理想的编码效率。编码时，可达到理想的编码效率。符号）符号）（比特（比特/35.2)(log)()(61