[正版新书] 智能多媒体理论与实战(微课版) 陈锋,陈平平,郭恩特,郑明魁,吴丽君 清华大学出版社 多媒体技术

本书全面系统地介绍多媒体通信、多媒体处理技术及其最新的人工智能分析应用，以满足理论教学和实践应用的需要。本书共8章，分为理论篇(第1～5章)和实战篇(第6～8章),在详细介绍多媒体与人工智能的关系、嵌入式多媒体环境、多媒体编程等基本知识的基础上，着重介绍智能多媒体工程实践中相关的数字图像处理技术、图像与视频编码技术以及多媒体通信技术，并详细介绍多媒体开发中的开发框架、FFmpeg、OpenCV以及BMCV开发工具。本书采用北京算能科技有限公司的嵌入式人工智能开发平台进行实验开发，提供了智能多媒体的基础实验和综合实战内容讲解，并且配有完整的实验代码和讲解视频。

本书适合作为高等院校计算机科学与技术、数字媒体技术、网络工程和电子信息工程等专业高年级本科生、研究生的教材，同时可供对嵌入式人工智能比较熟悉并且对人工智能技术有所了解的多媒体开发人员和研究人员参考。

本书通过严谨简明的预备知识介绍，为读者介绍与人工智能相关的智能多媒体开发方法，从图像处理、视频编解码、基础实验以及综合实战几个方面由浅入深详细介绍了智能多媒体的开发方法。

本书在编写过程中侧重于实践应用，通过基础实验与综合实战案例的结合，由浅入深地导入嵌入式人工智能开发方法，提高读者的兴趣，降低入门的难度。

本书能够普惠更多希望学习人工智能技术的学生及工程技术人员，让他们掌握人工智能嵌入式开发方法，并能灵活地用于解决实际问题。

目录

理论篇

第1章前置基础3

1.1智能多媒体概述3

1.1.1多媒体概述3

1.1.2多媒体与人工智能5

1.1.3智能多媒体关键技术与指标7

1.2嵌入式开发基础9

1.2.1边缘计算9

1.2.2嵌入式人工智能开发概述14

1.2.3Linux开发必备基础16

1.2.4Docker开发简介21

1.3多媒体编程基础23

1.3.1视频文件读写23

1.3.2多线程26

1.3.3同步互斥锁28

1.3.4套接字30

1.4本章小结35

习题36

第2章数字图像处理技术37

2.1基础知识37

2.1.1像素37

2.1.2分辨率38

2.1.3位深39

2.1.4帧率40

2.1.5码率41

2.1.6PSNR422.2彩色图像及图像存储43

2.2.1色彩空间模型43

2.2.2图像存储格式47

2.3图像预处理技术48

2.3.1灰度变换49

2.3.2灰度直方图变换52

2.4边缘检测57

2.4.1边缘检测基本概念57

2.4.2噪声影响下的边缘检测58

2.4.3Sobel算子59

2.4.4Canny算子60

2.5本章小结63

习题64

目录〖3〗第3章图像与视频编码技术65

3.1图像与视频编码基础65

3.1.1图像与视频编码原理概述65

3.1.2视频编码框架与基本概念69

3.1.3视频编码标准发展历程72

3.2JPEG静止图像编码标准75

3.2.1JPEG编码标准75

3.2.2JPEG工作模式77

3.2.3JPEG编码实现与算能平台78

3.3H.264视频编码标准78

3.3.1H.264编码标准概述78

3.3.2H.264编码方法79

3.3.3H.264的传输与存储84

3.3.4H.264开源编码器87

3.4H.265视频编码标准89

3.4.1H.265编码标准概述89

3.4.2H.265编码方法93

3.4.3H.265的码率控制算法96

3.4.4H.265开源编码器97

3.5感兴趣区域编码原理99

3.6码流分析工具简介100

3.6.1码流分析概述100

3.6.2常用码流分析工具100

3.7本章小结104

习题105

第4章智能多媒体通信技术106

4.1多媒体通信基础106

4.1.1数字视频接口106

4.1.2IP通信新技术109

4.1.3无线多媒体通信技术112

4.2TCP与UDP119

4.2.1TCP/IP119

4.2.2UDP121

4.2.3TCP122

4.2.4为什么流媒体通信常用UDP125

4.3RTP与RTCP126

4.3.1RTP简介126

4.3.2RTP的工作机制126

4.3.3RTP数据包解析127

4.4RTSP128

4.4.1RTSP简介128

4.4.2RTSP的工作机制130

4.5RTMP131

4.5.1RTMP简介131

4.5.2RTMP的工作机制131

4.6GB28181协议133

4.6.1GB28181协议简介133

4.6.2GB28181的工作机制134

4.7本章小结136

习题137

第5章嵌入式人工智能多媒体开发架构138

5.1概述138

5.1.1开发架构139

5.1.2硬件加速140

5.1.3工作模式141

5.1.4设备内存141

5.1.5内存同步的时机142

5.1.6手动内存同步的原因143

5.1.7内存同步示例143

5.2FFmpeg146

5.2.1FFmpeg概述146

5.2.2BM_FFmpeg147

5.3OpenCV152

5.3.1OpenCV简介152

5.3.2BM_OpenCV简介153

5.4BMCV156

5.4.1BMCV简介156

5.4.2BMCV数据结构157

5.4.3BMCV设备内存管理161

5.4.4BMCV API162

5.5本章小结167

习题167

实战篇

第6章基础实验171

6.1开发环境搭建171

6.1.1开发主机准备171

6.1.2下载SDK软件包172

6.1.3创建Docker开发环境173

6.1.4编写“Hello,World!”程序174

6.1.5硬件部署176

6.1.6程序上传与执行176

6.2云平台开发环境178

6.2.1云平台申请178

6.2.2云平台使用178

6.3多媒体开发基础编程实验181

6.3.1实验原理和流程181

6.3.2关键代码解析183

6.4边缘检测186

6.4.1BMCV关键函数解析186

6.4.2BMCV检测结果194

6.4.3OpenCV关键函数解析195

6.4.4硬件加速性能对比196

6.5图像裁剪及尺寸变换197

6.5.1bmcv_image_crop()函数197

6.5.2bmcv_image_resize()函数198

6.5.3bmcv_image_draw_rectangle()函数200

6.5.4OpenCV函数介绍201

6.5.5执行结果202

6.6图像加权融合204

6.6.1bmcv_image_add_weighted()函数205

6.6.2OpenCV下的图像加权融合方法205

6.6.3执行结果206

6.7图像灰度直方图208

6.7.1bmcv_calc_hist()函数208

6.7.2OpenCV的calcHist()函数209

6.7.3画直方图210

6.7.4执行结果210

6.8FFmpeg视频编码211

6.8.1实验原理简介211

6.8.2编码实验过程219

6.8.3使用ffprobe分析码流219

6.8.4使用VLC播放视频222

6.8.5使用Elecard StreamEye分析码流222

6.9ROI视频编码223

6.9.1实验原理简介224

6.9.2关键核心代码讲解224

6.9.3实验过程227

6.9.4Elecard StreamEye分析228

6.10FFmpeg视频解码229

6.10.1实验原理简介230

6.10.2FFmpeg解码关键函数230

6.10.3实验过程238

6.11OpenCV视频解码240

6.11.1实验原理简介241

6.11.2实验过程241

6.12JPEG图像编解码242

6.12.1实验原理简介242

6.12.2实验过程242

6.12.3执行与测试244

6.13RTSP拉流+RTMP推流245

6.13.1实验步骤245

6.13.2主线程245

6.13.3写线程247

6.13.4Windows下nginx的安装与RTMP推流247

6.13.5Wireshark安装与使用250

第7章嵌入式智能车载终端实战254

7.1项目背景255

7.2项目需求255

7.2.1需求概述255

7.2.2功能需求256

7.3相关理论257

7.3.1目标检测257

7.3.2多目标跟踪258

7.3.3车道线检测259

7.3.4单目测距260

7.4总体设计261

7.4.1总体架构设计261

7.4.2功能模块262

7.4.3技术架构263

7.4.4开发环境263

7.5项目实战263

7.5.1环境搭建与数据准备263

7.5.2程序框架271

7.5.3目标检测271

7.5.4多目标跟踪277

7.5.5车道线检测279

7.5.6测距280

7.5.7本地界面播放281

7.6部署与测试283

7.6.1编译与部署283

7.6.2测试结果287

第8章基于无人机的建筑图像识别实战289

8.1项目背景289

8.2项目需求290

8.2.1需求概述290

8.2.2功能需求291

8.3相关理论291

8.4总体设计293

8.4.1总体架构设计293

8.4.2功能模块294

8.4.3技术架构294

8.4.4开发环境294

8.5项目实战295

8.5.1环境搭建295

8.5.2模型与数据297

8.5.3目标检测301

8.5.4ROI编码305

8.5.5推流和视频切片306

8.6部署与测试308

8.6.1编译308

8.6.2运行程序与测试结果309

参考文献314