课程介绍

1948年，香农（C.E.Shannon）开创性的文章《通信的数学理论》为信息论和编码技术奠定了坚实的理论基础。信息理论是信息科学中最成熟、最完整、最系统的一部分，它以活跃、新颖的思路和高效解决问题的方法而显示出独特的魅力，在此基础上发展起来的数据通信和计算机技术，又反过来为信息编码技术的发展和应用创造了有利的环境。随着社会信息化的不断深入，信息论和编码技术已经渗透到许多应用领域，展示出勃勃生机和巨大的发展前景。
信息论不仅在方法论的层面上解决通信的有效性和可靠性问题，而且在认识论的层面上帮助人们认识事物的本质。学完信息理论之后，再重新审视一下周围的事物，会产生许多新的看法和认识。用信息论可以宏观地认识某些政治问题，也可以定量地解决某些经济问题，还可以分析、解释学习中存在的问题。总之，信息论是高层次信息技术人才必不可少的基础知识，因而目前各高等院校的电子信息类专业的本科生、研究生都把信息论和编码技术作为一门重要的专业基础理论课。
由于信息论牵涉到众多学科，需要广泛的数学基础，许多读者虽然认识到信息论和编码技术的重要性，但在繁杂的公式面前往往望而却步。针对这种情况，作者根据多年的教学经验，在编写过程中强调基本原理的理解，选材时充分考虑其实用性，把信息论涉及的数学知识限制在工科高等数学和工程数学的范畴内，尽量以通俗形象的语言描述定义、性质和结论的物理概念，叙述中重概念描述、少理论推导，在每章结尾还附有相应的思考题与习题以加深认识。因此，本书适于作为通信、信息工程类专业本科生、研究生的教材，也可作为其他专业学生及有关科技人员的参考书。
本书主要内容包括经典信息论的基本内容和主要结论、信息压缩编码的基本原理、提高通信可靠性的纠错编码理论和方法。全书共分8章，遵照由浅入深、循序渐进的教学规律，系统地组织教学内容。第1章绪论，介绍信息论与编码的基本概念、数字通信系统模型，以及信息论、信道编码和信源编码理论的主要发展历程和意义；第2章信源及其熵，介绍信源的数学模型和分类、离散信源的信息熵及其性质、连续信源的信息熵、信源的冗余度等；第3章信道及其容量，介绍信道的数学模型与分类、信道疑义度与平均互信息、离散信道的信道容量、连续信道的信道容量、信源与信道的匹配，以及信道编码定理等；
第4章信道编码，介绍信道编码的基本概念和经典信道编码理论，主要包括线性分组码、循环码和卷积码的概念及编、译码算法等。第5章信源编码，介绍编码器及相关概念、无失真信源编码定理、变长编码和实用信源编码方法等；第6章信息率失真函数，介绍失真测度、信息率失真函数、等概对称离散信源的率失真计算和保真度准则下的信源编码定理等；第7章现代信道编码技术，介绍近年来信道编码领域最重要的2种新技术—Turbo码和LDPC码，分别介绍二者的概念、基本原理和编、译码算法等。第8章MATLAB在信息论与编码分析中的应用，介绍MATLAB的使用基础、应用MATLAB分析离散信源和离散信道、信源和信道编码技术的MATLAB分析和仿真。

课程大纲

学习目标

通过本课程的理论教学和实验训练，使学生具备下列能力：
1．理解和掌握信息论相关的基本原理：
a)了解信息论及数字通信系统的基本概念
b)能够建立基本的数字通信系统模型，并用信息论知识分析各个模块的基本功能
c)掌握提升数字通信系统有效性、可靠性的基本原理与方法
2、能够利用所学知识分析问题，解决问题：
a)、能够利用互信息对数字通信系统进行分析
b)、能够建立基本的通信信道的模型
c)、能够利用信道编码知识，分析数字通信系统的可靠性问题
d)、能够利用信源编码知识，分析数字通信系统的有效性问题

学习要求

通过本课程的理论教学和实验训练，要求学生理解和掌握如下内容：
1．掌握熵与互信息的概念、性质与计算,能用互信息分析通信系统的传输问题；
2．掌握离散信源和连续信源熵的概念与计算，理解数字通信系统的信源空间选择；
3．掌握信道容量的含义及对实际通信系统的指导意义，掌握特殊离散无记忆信道与高斯信道容量的计算；
4．了解香农信道编码定理及对信道编码技术的指导意义；
5、掌握汉明码、循环码的编译码原理，并能将其应用于通信系统；
6、了解卷积码的基本原理及Viterbi译码算法；
7．掌握香农信源编码定理及Huffman 编码方法，了解数据压缩的基本原理，尝试利用编码技术对实际信源进行压缩。

考核标准

课件浏览80%,客观练习10%,主观练习10%,课内讨论0%,练习允许10次全部重做。
课程内容不断迭代，成绩以当时的课程内容为准，一旦合格，可以申请证书。申请证书后，以结课处理，成绩不再改动

教材教参

《信息论――基础理论与应用》  傅祖芸主编 电子工业出版社
《信息论与编码》    陈运等 电子工业出版社
《信息论与编码》  曹雪虹等 清华大学出版社