课程介绍

1948年，香农（C.E.Shannon）开创性的文章《通信的数学理论》为信息论和编码技术奠定了坚实的理论基础。信息理论是信息科学中最成熟、最完整、最系统的一部分，它以活跃、新颖的思路和高效解决问题的方法而显示出独特的魅力，在此基础上发展起来的数据通信和计算机技术，又反过来为信息编码技术的发展和应用创造了有利的环境。随着社会信息化的不断深入，信息论和编码技术已经渗透到许多应用领域，展示出勃勃生机和巨大的发展前景。
信息论不仅在方法论的层面上解决通信的有效性和可靠性问题，而且在认识论的层面上帮助人们认识事物的本质。学完信息理论之后，再重新审视一下周围的事物，会产生许多新的看法和认识。用信息论可以宏观地认识某些政治问题，也可以定量地解决某些经济问题，还可以分析、解释学习中存在的问题。总之，信息论是高层次信息技术人才必不可少的基础知识，因而目前各高等院校的电子信息类专业的本科生、研究生都把信息论和编码技术作为一门重要的专业基础理论课。

课程大纲

学习目标

通过本课程的理论教学和实验训练，使学生具备下列能力：
1．掌握熵与互信息的概念、性质与计算,能用互信息分析通信系统的传输问题；
2．掌握离散信源和连续信源熵的概念与计算，理解数字通信系统的信源空间选择；
3．掌握信道容量的含义及对实际通信系统的指导意义，掌握特殊离散无记忆信道与高斯信道容量的计算；
4．了解香农信道编码定理及对信道编码技术的指导意义；
5、掌握汉明码、循环码的编译码原理，并能将其应用于通信系统；
6、了解卷积码的基本原理及Viterbi译码算法；
7．掌握香农信源编码定理及Huffman 编码方法，了解数据压缩的基本原理，尝试利用编码技术对实际信源进行压缩。

学习要求

第一章：绪论
介绍信息论与编码理论的发展简史、信息的基本定义及数字通信系统基本模型。
要求学生：了解信息论与编码理论的发展简史，掌握信息的基本定义及数字通信系统基本模型。
第二章：信源及其熵
介绍信源的数学模型和分类、离散信源的信息熵及其性质、连续信源的信息熵、信源的冗余度等。
要求学生：掌握基本信源分类、信源熵的含义、计算方法及信源冗余度的概念和计算。
第三章：信道及其容量
介绍信道疑义度、平均互信息的基本概念、平均互信息的基本性质、平均互信息的计算方法、基本信道模型及信道容量的计算方法以及信源与信道匹配的概念和信道编码定理对信道编码技术的指导意义。
要求学生：掌握信道疑义度、平均互信息的概念，会计算平均互信息；掌握基本的信道模型，会计算一些特殊信道的信道容量；理解信源与信道匹配的概念。
第四章：信道编码
介绍信道编码的基本概念和经典信道编码理论：主要包括线性分组码、循环码和卷积码的概念及编、译码算法等。
要求学生：掌握信道编码基础理论、理解信道编码技术能够提升通信系统可靠性的根本原因；并且掌握汉明码、循环码的编译码原理；了解卷积码的基本原理及Viterbi译码算法。

第五章：信源编码
介绍信源编码器基本概念、无失真信源编码定理、变长编码和实用的信源编码方法等。
要求学生：理解香农无失真信源编码定理及香农编码、Huffman 编码等信源编码方法，了解算术编码基本原理。
第六章：信息率失真函数
介绍失真测度、信息率失真函数、等概对称离散信源的率失真计算和保真度准则下的信源编码定理等。
要求学生：了解信息率失真函数的定义、会计算等概对称离散信源的率失真函数、理解保真度准则下的信源编码定理对于限失真信源压缩的指导意义。
第七章：现代信道编码技术
介绍近年来信道编码领域最重要的2种新技术—Turbo码和LDPC码，分别介绍二者的概念、基本原理和常见编、译码算法等。
要求学生：对现代信道编码新技术有一定认知。

考核标准

课件浏览100%,客观练习0%,主观练习0%,课内讨论0%,练习允许2次全部重做。。
课程内容不断迭代，成绩以当时的课程内容为准，一旦合格，可以申请证书。申请证书后，以结课处理，成绩不再改动

教材教参

[1] 傅祖芸. 信息论——基础理论与应用. 北京：电子工业出版社，2001.
[2] 陈运. 信息论与编码. 北京：电子工业出版社，2002.
[3] 张仁霖. 信息论基础及其在地学中的应用. 西安：西安地图出版社，1993.
[4] 吴伯修，归绍升，祝宗泰，俞槐铨. 信息论与编码. 北京：电子工业出版社，1987.
[5] 黄新亚，米央. 信息编码技术及其应用大全. 北京：电子工业出版社，1994.
[6] 万旺根，余小清. 信息与编码理论基础. 上海：上海大学出版社，2000.
[7] 唐朝京，雷菁. 信息论与编码基础. 长沙：国防科技大学出版社，2003.
[8] 曹雪虹，张宗橙. 信息论与编码. 北京：清华大学出版社，2004.
[9] 傅祖芸，赵建中. 信息论与编码. 北京：电子工业出版社，2006.
[10] 王育民等. 信息论与编码理论. 北京：高等教育出版社，2005.
[11] Cover Thomas M, Thomas Joy A. Elements of Information Theory. New York: Wiley, 1991.
[12] 朱雪龙. 应用信息论基础. 北京：清华大学出版社，2001.
[13] 仇佩亮. 信息论与编码. 北京：高等教育出版社，2003.
[14] 姜丹. 信息论与编码. 合肥：中国科学技术大学出版社，2001.
[15] 张宗橙. 纠错编码原理和应用. 北京：电子工业出版社，2003.
[16] 田丽华. 编码理论. 西安：西安电子科技大学出版社，2003.
[17] Robert J McEliece,《The Theory of Information and Coding (second edition). Cambridge University Press, 2002.
[18] Ewing J H, Gehring F W, Halmos P. R. Coding and Information Theory. Steven Roman, 1992.
[19] 章毓晋. 图像工程(上册)图像分析与处理. 北京：清华大学出版社，1999.
[20] 沈世镒，陈鲁生. 信息论与编码理论. 北京：科学出版社，2002.
[21] 余成波. 信息论与编码. 重庆：重庆大学出版社，2002.
[22] 戴善荣. 信息论与编码基础. 北京：机械工业出版社，2005.
[23] 陈杰，徐华平，周荫清. 信息理论基础习题集. 北京：清华大学出版社，2005.
[24] Ranjan Bose著，武传坤，李徽 译. 信息论、编码与密码学. 北京：机械工业出版社，2010.
[25] 邓家先，康耀红. 信息论与编码. 西安：西安电子科技大学出版社，2007.
[26] 张莲，周登义，余成波. 信息论与编码. 北京：中国铁道出版社，2008.
[27] 白宝明. Turbo码理论及其应用的研究[D]. 西安电子科技大学, 1999.
[28] 贺玉成. 基于图模型的低密度校验码理论及应用研究[D]. 西安电子科技大学, 2002
[29] 周林. LDPC码高效编码调制技术研究[D]. 西安电子科技大学, 2011
[30] 王新梅，肖国镇. 纠错码：原理与方法（修订版）. 西安：西安电子科技大学出版社, 2001
[31] 唐向宏，岳恒立，郑雪峰. MATLAB及在电子信息类课程中的应用. 北京：电子工业出版社，2006.