《信息理论与编码基础》为普通高等教育“十一五”国家级规划教材，可作为高等院校通信类、电子信息类、计算机科学与工程类、自动控制类等专业本科生教材，也可作为相关学科硕士研究生的教学参考书以及有关技术、科研和管理人员的参考书。《信息理论与编码》：内容结构清晰明了，强调信息理论与编码方法在知识上的连贯性。以通俗语言叙述代替高深繁琐的数学推导，便于读者理解。突出基本概念，强调基本方法。值得在信息理论方面深造的高校学生或业余爱好者研究。

《信息理论与编码》以克劳德·香农信息论为基础，分两大部分共8章向读者系统介绍信息理论与编码理论的基本思想：第一部分主要介绍了香农信息论的基本概念和性质，包括信息、信息率失真函数和信道容量，力求从基本概念上帮助读者理解和掌握信息理论的基本内容；第二部分以三个基本概念相对应的香农三大编码定理为基础，从满足通信系统的有效性、可靠性和安全性三项性能指标为出发点，详细介绍了无失真信源编码、限失真信源编码和信道编码的基本理论与方法。

《信息理论与编码》内容结构清晰明了，以通俗语言叙述代替高深繁琐的数学推导，强调信息理论与编码方法在知识上的连贯性，以满足工科类本科专业学生的学习要求。

《信息理论与编码》可作为普通高等院校电气信息类电子信息工程专业和通信专业的教材或教学参考书。

第1章 概论

1.1 信息的概念

1.2 信息的分类

1.3 信息论的研究目的与意义

第2章 信源与信息熵

2.1 离散信源与信息熵

2.1.1 离散信源的数学模型与统计特征

2.1.2自信息量和平均自信息量（熵）

2.1.3 熵函数的基本性质和最大熵定理

2.1.4 联合熵与条件熵

2.1.5 互信息

2.2 离散序列信源：

2.2.1 离散序列信源的数学模型

2.2.2 离散序列信源的信息熵

2.2.3 马尔可夫信源

2.2.4 信源冗余度

2.3连续信源

2.3.1 连续信源的熵

2.3.2 连续信源的最大熵及熵功率

习题

第3章 信息率失真函数

3.1 失真测度

3.1.1 失真函数与平均失真度

3.1.2 信息率失真函数的定义

3.2 离散信源的信息率失真函数

3.2.1 信息率失真函数的性质

3.2.2 信息率失真函数的计算

3.3 连续信源的信息率失真函数

3.3.1 信息率失真函数的定义与性质

3.3.2 信息率失真函数的计算

习题

第4章 信道与信道容量

4.1 信道的分类与数学模型

4.1.1 信道的分类

4.1.2 信道的数学模型

4.1.3 信道容量的定义

4.2 信道容量的代价函数和信道冗余度

4.2.1 信道容量的代价函数

4.2.2 信道冗余度

4.3 离散信道及其容量计算

4.3.1 单符号离散信道的信道容量

4.3.2 多符号离散信道的信道容量

4.4 连续信道及其容量

4.4.1 时间离散信道的信道容量

4.4.2 时间连续信道的信道容量

4.4.3 限频率、限时、限功率的AWGN信道容量

4.5 信道容量c与信息率失真函数R（D）的区别

4.6 多用户信道

4.6.1 多址接入信道

4.6.2 广播信道

习题

第5章香农三大定理

5.1 克劳德·香农第一定理

5.2 香农第二定理

5.3 香农第三定理

第6章 无失真信源编码

6.1 信源编码概述

6.1.1 信源编码的一般模型

6.1.2 信源产生冗余的原因

6.2 无失真信源编码概述

6.2.1 编码的有关概念

6.2.2 几个简单的信源编码器

6.2.3 几种常见码

6.3 等长码与等长信源编码定理

6.3.1 无失真编码条件

6.3.2 信源序列渐近均分性

6.3.3 信源序列分组定理

6.3.4 渐近均分特性

6.3.5 等长编码定理

6.4 变长编码

6.4.1 码树

6.4.2 异前置码

6.4.3 克拉夫特一麦克米伦不等式

6.4.4 变长编码定理

6.5 最佳变长编码（霍夫曼编码）

6.5.1 二进制霍夫曼编码

6.5.2 多进制霍夫曼编码

习题

第7章 限失真信源编码定理

7.1 限失真信源编码概述

7.2 限失真信源编码逆定理

7.3 保真度准则下的码率压缩标准

7.3.1 语音压缩编码标准

7.3.2 图像压缩编码标准

7.4 几种常用的有损压缩编码技术

7.4.1差分脉冲编码调制（DPCM）

7.4.2 预测编码

7.4.3 正交变换编码

7.4.4 小波变换编码

习题

第8章 信道编码

8.1 信道编码的基本概念

8.1.1 检错和纠错原理

8.1.2 检错和纠错能力的判断

8.1.3 信道编码的分类

8.1.4 常用的简单检错纠错码

8.2 错误概率

8.2.1 译码规则的概念

8.2.2 错误概率与译码规则

8.2.3 三种译码准则

8.2.4 错误概率与编码方法

8.3 线性分组码

8.3.1 线性分组码的基本概念

8.3 12校验矩阵和生成矩阵

8.3.3 汉明码

8.3.4 线性分组码的译码

8.4 循环码

8.4.1 循环码的定义和多项式描述

8.4.2 码多项式的运算

8.4.3 循环码的生成多项式和生成矩阵

8.4.4 循环码的校验矩阵

8.4.5 循环码的编码和译码方法

8.5 卷积码

8.5.1 卷积码的概念

8.5.2 卷积码的编码

8.5.3 卷积码的图形表示

8.5.4 卷积码的译码

习题

附录A 常用概率公式

附录B 詹森不等式

参考文献

本书系统地讲述了信息论的基础理论。全书分8章，分别讨论了信息的度量、信源无失真编码、信道编码、信息率失真函数、网络信息论以及信息安全的理论与方法。

本书注重基本概念，论述力求简明，可作为高等院校通信类、信息类、电子工程类及相关专业的教材，也可供有关科研人员参考。

目录:

第一章　绪论

1.1　信息的基本概念

1.1.1　信息概念的复杂性

1.1.2　信息的定义

1.2　信息论的研究目的和内容

1.2.1　信息传输基本模型

1.2.2　信息论研究的内容

1.2.3　目前信息论的主要研究成果

1.3　信息论的发展历程与应用概述

1.3.1　信息论发展简史

1.3.2　信息论的应用

习题

第二章　信息的度量

2.1　信源模型

2.2　信息的描述

2.3　不确定性与信息

2.3.1　自信息量

2.3.2　联合自信息量

2.3.3　条件自信息量

2.3.4　自信息量的性质和相互关系

2.3.5　互信息量及其性质

2.4离散随机变量的(统计)平均不确定性度量--离散熵

2.4.1　离散熵

2.4.2　离散熵的性质

2.5　联合熵和条件熵

2.5.1　联合熵

2.5.2　条件熵

2.5.3　各类熵之间的关系

2.6　平均互信息量及其性质

2.7　离散无记忆信源的扩展

2.8　离散有记忆信源的熵

2.9　马尔可夫信源的信息熵

2.9.1　马尔可夫链

2.9.2　马尔可夫信源

2.9.3　马尔可夫信源的信息熵

2.10　离散信源的信息(速)率和信息含量效率

2.11　连续随机变量的熵和平均互信息量

2.11.1　连续随机变量的熵

2.11.2　连续随机变量的联合熵、条件熵以及平均互信息量

2.11.3　导数熵的极大化问题

2.11.4　连续信源的熵功率

本章主要概念

习题

第三章　信道模型和信道容量

3.1　信道模型与信道分类

3.2　离散无记忆信道的数学模型

3.3　概率的计算问题

3.4　信道的疑义度、散布度和平均互信息

3.4.1　信道的疑义度

3.4.2　信道的散布度

3.4.3　信道的平均互信息

3.5　信道容量

3.5.1　信道容量的定义

3.5.2　离散无噪信道的信道容量

3.5.3　离散对称信道

3.5.4　一般DMC达到信道容量的充要条件

3.5.5　信道容量的迭代算法

3.6　扩展信道及其信道容量

3.6.1　扩展信道的数学模型

3.6.2　扩展信道的平均互信息量和信道容量

3.7　信道的组合

3.7.1　串联信道

3.7.2　独立并联信道

3.8　信源与信道的匹配

3.9　连续信道及其信道容量

3.9.1　连续信道的数学模型

3.9.2　加性高斯噪声信道的信道容量

3.9.3　一般加性噪声信道的信道容量的界

3.10　波形信道及其信道容量

本章主要概念

习题

第四章　离散无记忆信源无失真编码

4.1　信源编码概论

4.2　码的惟一可译性

4.2.1　常见码及其惟一可译性

4.2.2　码树和Kraft不等式

4.3　定长编码定理和定长编码方法

4.4　变长编码定理

4.5　变长编码方法

4.5.1　霍夫曼编码

4.5.2费诺编码

4.5.3　香农编码

4.6　几种实用的无失真信源编码

4.6.1　游程编码

4.6.2　算术编码

4.6.3　基于字典的编码

本章主要概念

习题

第五章　有噪信道编码

5.1　译码规则与错误概率

5.2　两种典型的译码规则

5.3　平均差错率与信道编码

5.3.1　"简单重复"编码

5.3.2　对符号串编码

5.4汉明距离

5.5有噪信道编码定理

5.5.1　联合典型序列

5.5.2　有噪信道编码定理的证明

5.6　Fano不等式和有噪信道编码逆定理

5.7　线性分组码

5.7.1　线性分组码的生成矩阵和校验矩阵

5.7.2　汉明距离和码的纠、检错能力

5.7.3　线性码的伴随式与伴随式译码

本章主要概念

习题

第六章　限失真信源编码

6.1　失真测度

6.2　信息率失真函数及其性质

6.2.1　信息率失真函数的定义

6.2.2　信息率失真函数的性质

6.3　限失真信源编码定理

6.4　信息率失真函数的计算

6.4.1　离散信源信息率失真函数的参量表示计算方法

6.4.2　离散信源信息率失真函数的迭代计算方法

本章主要概念

习题

第七章　网络信息论基础

7.1　概论

7.2　网络信道的分类

7.3　典型信源编码模型

7.4　多随机变量联合典型序列

7.5　相关信源编码

7.6　多址接入信道

7.7　高斯多址接入信道

7.8　广播信道

7.9　中继信道

7.10　具有边信息的信源编码和数据压缩

本章主要概念

习题

第八章信息安全与密码学基础

8.1　信息安全概述

8.2　网络模型与安全服务功能

8.2.1　开放系统互联OSI模型

8.2.2　安全分层原则

8.2.3　安全服务功能

8.2.4　网络安全对策

8.3　密码学基础知识

8.3.1　基本术语

8.3.2代替密码

8.4　密码算法的数学背景

8.4.1　信息论

8.4.2　复杂性理论

8.4.3数论基础

8.5　数据加密标准(DES)

8.5.1　数据加密标准的开发

8.5.2　DES算法概要

8.5.3　初始置换

8.5.4　密码运算函数f(R,K)

8.5.5　密钥置换

8.5.6　扩展置换

8.5.7s盒替代

8.5.8　P盒置换

8.5.9　逆初始置换

8.5.10　DES的安全性

8.5.11　DES的硬件实现

8.6　公开密钥算法

8.6.1　公开密钥密码体制

8.6.2　背包公钥密码

8.6.3　RSA公钥加密

8.6.4　数字签名

本章主要概念

习题

参考书目