正版新书]信息论与编码雷菁、黄英9787302650614

第1章 绪论 …………………………………………………………………………… 1
1.1 信息的概念 ……………………………………………………………………… 2
1.1.1 广义信息的定义 ……………………………………………………… 2
1.1.2 香农信息的定义 ……………………………………………………… 4
1.2 信息论与编码的发展 …………………………………………………………… 6
1.2.1 信息理论的形成 ……………………………………………………… 6
1.2.2 编码技术的发展及应用 ……………………………………………… 8
1.3 信息论与信息科学 ……………………………………………………………… 9
第2章 信源与熵 ……………………………………………………………………… 12
2.1 信源模型 ……………………………………………………………………… 13
2.2 离散随机变量的熵 …………………………………………………………… 15
2.2.1 自信息 ………………………………………………………………… 15
2.2.2 信息熵 ………………………………………………………………… 16
2.2.3 条件熵与联合熵 ……………………………………………………… 17
2.2.4 熵的基本性质 ………………………………………………………… 19
2.2.5 离散无记忆的扩展信源 ……………………………………………… 26
2.2.6 离散平稳信源的熵 …………………………………………………… 29
2.2.7 马尔可夫信源的熵 …………………………………………………… 34
2.2.8 信源的剩余度 ………………………………………………………… 45
2.3 连续随机变量的微分熵 ……………………………………………………… 48
2.3.1 微分熵 ………………………………………………………………… 48
2.3.2 微分熵的性质 ………………………………………………………… 54
2.4 Kullback熵 …………………………………………………………………… 61
2.4.1 Kullback熵的定义 …………………………………………………… 61
2.4.2 Kullback熵的性质 …………………………………………………… 62
2.4.3 Kullback熵与热力学第二定律的关系 ……………………………… 64
2.5 Fano不等式 …………………………………………………………………… 65
小结 …………………………………………………………………………………… 66
习题 …………………………………………………………………………………… 69
第3章 信道与容量 …………………………………………………………………… 73
3.1 信道模型 ……………………………………………………………………… 75
3.2 平均互信息 …………………………………………………………………… 77









3.2.1 信道疑义度 …………………………………………………………… 77
3.2.2 平均互信息及其性质 ………………………………………………… 78
3.2.3 序列形式的平均互信息 ……………………………………………… 83
3.3 离散信道及其容量 …………………………………………………………… 85
3.3.1 信道容量的定义 ……………………………………………………… 85
3.3.2 简单离散信道的信道容量 …………………………………………… 86
3.3.3 对称离散信道的信道容量 …………………………………………… 88
3.3.4 一般离散信道的信道容量 …………………………………………… 91
3.3.5 离散无记忆 N 次扩展信道的信道容量 …………………………… 97
3.3.6 并联信道与串联信道的信道容量 …………………………………… 99
3.4 连续信道及其容量 …………………………………………………………… 107
3.4.1 基本连续信道 ……………………………………………………… 107
3.4.2 多维连续信道 ……………………………………………………… 110
3.5 波形信道与香农公式 ………………………………………………………… 111
3.5.1 带限高斯白噪声加性波形信道的信道容量 ……………………… 112
3.5.2 香农公式的意义与启发 …………………………………………… 114
小结 ………………………………………………………………………………… 117
习题 ………………………………………………………………………………… 121
第4章 信源压缩编码 ………………………………………………………………… 125
4.1 信源编码的基本概念 ………………………………………………………… 126
4.1.1 信源编码器 ………………………………………………………… 126
4.1.2 专享可译码与即时码 ……………………………………………… 129
4.1.3 Kraft不等式 ………………………………………………………… 132
4.2 无失真信源编码定理 ………………………………………………………… 133
4.2.1 渐近等同分割性 …………………………………………………… 133
4.2.2 等长信源编码定理 ………………………………………………… 138
4.2.3 可变长信源编码定理 ……………………………………………… 141
4.3 保真度准则下的信源编码定理 ……………………………………………… 146
4.3.1 信息率失真函数的定义及性质 …………………………………… 147
4.3.2 保真度准则下的信源编码定理 …………………………………… 158
4.4 常用的信源压缩编码方法 …………………………………………………… 164
4.4.1 预测编码 …………………………………………………………… 165
Ⅵ









4.4.2 变换编码 …………………………………………………………… 172
4.4.3 统计编码 …………………………………………………………… 183
4.4.4 通用编码 …………………………………………………………… 202
4.5 压缩编码应用综述 …………………………………………………………… 214
4.5.1 音频压缩标准 ……………………………………………………… 214
4.5.2 静止图像压缩标准 ………………………………………………… 217
4.5.3 视频压缩标准 ……………………………………………………… 222
小结 ………………………………………………………………………………… 229
习题 ………………………………………………………………………………… 232
第5章 信道编码 ……………………………………………………………………… 238
5.1 信道编码的基本概念 ………………………………………………………… 239
5.1.1 信道编码的一般方法 ……………………………………………… 239
5.1.2 信道编码的基本参数 ……………………………………………… 241
5.1.3 信道译码规则 ……………………………………………………… 244
5.2 有噪信道编码定理 …………………………………………………………… 248
5.2.1 联合渐近等同分割性与联合典型序列 …………………………… 248
5.2.2 香农第二定理(有噪信道编码定理) ……………………………… 254
5.3 线性分组码 …………………………………………………………………… 258
5.3.1 线性分组码的基本概念 …………………………………………… 259
5.3.2 线性分组码的译码方法 …………………………………………… 266
5.3.3 线性分组码的纠错能力 …………………………………………… 273
5.3.4 线性分组码的派生与组合 ………………………………………… 276
5.4 循环码的基本原理 …………………………………………………………… 283
5.4.1 基本概念 …………………………………………………………… 283
5.4.2 循环码的编码及其实现 …………………………………………… 289
5.4.3 循环码译码及其实现 ……………………………………………… 293
5.4.4 BCH码与 RS码……………………………………………………… 306
5.5 卷积码 ………………………………………………………………………… 314
5.5.1 卷积码的定义 ……………………………………………………… 314
5.5.2 卷积码的表示 ……………………………………………………… 315
5.5.3 卷积码的译码 ……………………………………………………… 319
5.5.4 卷积码的应用 ……………………………………………………… 322

Ⅶ









小结 ………………………………………………………………………………… 326
习题 ………………………………………………………………………………… 329
第6章 优选纠错编码技术 …………………………………………………………… 333
6.1 Turbo码 ……………………………………………………………………… 334
6.1.1 Turbo码的分类 ……………………………………………………… 335
6.1.2 Turbo码的编码 ……………………………………………………… 337
6.1.3 Turbo码的迭代译码 ………………………………………………… 340
6.1.4 Turbo码的性能分析与应用 ………………………………………… 353
6.2 低密度校验码 ………………………………………………………………… 355
6.2.1 低密度校验码的概念及图模型 …………………………………… 356
6.2.2 低密度校验码的构造与编码方法 ………………………………… 357
6.2.3 低密度校验码的译码算法 ………………………………………… 368
6.2.4 低密度校验码的应用 ……………………………………………… 375
6.3 无码率码 ……………………………………………………………………… 381
6.3.1 LT码 ………………………………………………………………… 381
6.3.2 Raptor码 …………………………………………………………… 383
6.3.3 Spinal码……………………………………………………………… 387
6.4 极化码 ………………………………………………………………………… 393
6.4.1 信道极化现象 ……………………………………………………… 393
6.4.2 信道极化定理 ……………………………………………………… 395
6.4.3 Polar码构造原理 …………………………………………………… 400
6.4.4 Polar码编码原理 …………………………………………………… 405
6.4.5 Polar码译码方法 …………………………………………………… 405
6.5 编码调制技术 ………………………………………………………………… 411
6.5.1 TCM ………………………………………………………………… 412
6.5.2 多级编码 …………………………………………………………… 414
6.5.3 BICM-ID……………………………………………………………… 415
小结 ………………………………………………………………………………… 419
习题 ………………………………………………………………………………… 420
参考文献 ………………………………………………………………………………… 423




Ⅷ

"雷 菁，国防科技大学教授、博士生导师。长期从事信息论与编码领域的教学和科研工作，讲授“信息论与编码”“通信技术综合设计”“通信工程专业设计”等课程。近5年发表SCI源刊论文近20篇。主持国家自然科学基金项目、湖南省自然科学基金项目、863项目等10余项。获全国、全军优秀教师称号，军队院校育才金奖、银奖获得者。主持重量教学成果二等奖1项。出版信息论与编码方面的教材4部。
黄 英，国防科技大学副教授、硕士生导师。长期从事信息论与编码领域的教学和科研工作，讲授“信息论与编码基础”“通信技术综合设计”等课程。近5年发表SCI源刊论文近10篇。主持国家自然科学基金、湖南省自然科学基金等项目2项。获湖南省优秀教师称号。出版教材1部。
"

"（1） 打通信息理论到应用实践的壁垒，注重培养学生解决复杂工程问题的能力，体现工程教育专业认证的理念。
（2） 提供丰富的例题、案例、文献等教辅资源，促进理论知识点间的融会贯通，加强经典技术与前沿技术的连接。
（3） 提供大量编译码的源代码，帮助学生理解难懂的编码理论，搭建理论与应用之间的桥梁。
（4） 融入大量的科研成果，促进理论理解到实践创新的顺利过渡，拓展学生的眼界与知识面。
（5） 新形态教材，配套资源丰富，包括PPT课件、教学案例、代码、文献等，可扫描书中二维码下载。
（6） 基于爱课程、学堂在线平台，配套视频100多个，包括知识点讲解、专题讲座、实验演示、学生研讨等资源，便于翻转课堂和自主学习，可扫描书中二维码观看。
"