音像视频处理加速及应用实践:基于英特尔GPU林森 等

CONTENTS<br />目    录<br /><br />序<br />前言<br />章  视频处理之理论基础1<br />1.1  人眼视觉系统概述1<br />1.2  RGB和YUV色彩空间模型3<br />1.2.1  RGB色彩空间模型5<br />1.2.2  YUV色彩空间模型5<br />1..  YUV色彩模型与RGB<br />色彩模型的转换6<br />1.3  数字图像概述7<br />1.3.1  数字化过程——采样7<br />1.3.2  帧和场8<br />1.3.3  视频图像属9<br />1.4  传统视频压缩技术理论和<br />算法概述10<br />1.4.1  信息论概述11<br />1.4.2  视频数据的冗余特14<br />1.4.3  变换技术15<br />1.4.4  量化技术18<br />1.4.5  预测技术20<br />1.4.6  Z字形扫描22<br />1.4.7  熵编码<br />1.4.8  可分层编码<br />1.4.9  多视点视频编码25<br />1.5  常见视频图像处理算法27<br />1.5.1  去隔行扫描27<br />1.5.2  帧率转换28<br />1.5.3  电视电影刷新率转换28<br />1.5.4  缩放29<br />1.6  视频行业主要标准30<br />1.6.1  电视制式31<br />1.6.2  视频图像标准32<br />1.6.3  视频编解码行业标准33<br />1.7  视频图像质量评价36<br />1.7.1  主观质量评价37<br />1.7.2  客观质量评价37<br />1.8  本章小结39<br />第2章  英特尔GPU概述41<br />2.1  英特尔GPU处理器架构概述42<br />2.2  视频引擎46<br />.  英特尔GPU路线图和命名49<br />2.4  本章小结52<br />第3章  Media SDK总览53<br />3.1  处理对象54<br />3.2  功能模块55<br />3.3  API设计56<br />3.4  软件架构57<br />3.4.1  会话57<br />3.4.2  分配器59<br />3.4.3  数据缓存61<br />3.4.4  异步流水线62<br />3.5  例程和教程概述64<br />3.5.1  基本开发流程64<br />3.5.2  解码过程65<br />3.5.3  编码过程66<br />3.5.4  转码过程67<br />3.5.5  视频图像处理68<br />3.5.6  例程的使用70<br />3.6  新一代开发套件OneVPL71<br />3.7  本章小结75<br />第4章  Media SDK环境搭建77<br />4.1  Linux环境搭建77<br />4.1.1  选择内核版本77<br />4.1.2  选择Media SDK版本78<br />4.1.3  安装依赖库和例程79<br />4.1.4  通过vainfo验安装<br />结果80<br />4.2  Windows环境搭建85<br />4.2.1  开发环境部署85<br />4.2.2  例程编译过程87<br />4..  基于GitHub的例程编译<br />过程92<br />4.2.4  查看当前平台的视频处理<br />能力92<br />4.2.5  自带Tracer工具92<br />4.3  本章小结94<br />第5章  Linux视频加速软件框架95<br />5.1  直接渲染管理器97<br />5.1.1  内存管理98<br />5.1.2  命令提交107<br />5.1.3  模式设置115<br />5.1.4  权限管理116<br />5.2  lib117<br />5.3  VA-API117<br />5.3.1  核心概念119<br />5.3.2  编程流程124<br />5.3.3  示例程序125<br />5.3.4  调试129<br />5.4  GmmLib132<br />5.5  本章小结133<br />第6章  开源框架的使用和环境<br />搭建134<br />6.1  FFmpeg134<br />6.1.1  Linux编译指南136<br />6.1.2  Windows编译指南138<br />6.2  GStreamer141<br />6.2.1  基于GStreamer官网的<br />编译指南141<br />6.2.2  通过Intel OpenVINO<br />安装GStreamer143<br />6..  GStreamer与AI的协同<br />工作146<br />6.3  OpenCV151<br />6.3.1  Linux编译指南152<br />6.3.2  Windows编译指南154<br />6.4  本章小结158<br />第7章  高并发视频分析业务<br />评估工具159<br />7.1  综述159<br />7.2  Linux 环境搭建160<br />7.2.1  安装依赖软件包160<br />7.2.2  升级Linux 内核161<br />7..  安装集成显卡固件162<br />7.2.4  安装OpenVINO162<br />7.2.5  安装OpenCL驱动163<br />7.2.6  准备测试的视频165<br />7.2.7  运行SVET程序165<br />7.2.8  SVET参考程序参数<br />配置167<br />7.3  Windows环境搭建168<br />7.3.1  安装依赖软件包168<br />7.3.2  编译SVET参考程序和<br />依赖库170<br />7.3.3  下载推理所需模型和<br />测试视频175<br />7.3.4  运行多路视频推理176<br />7.4  核心视频业务179<br />7.4.1  NVR业务180<br />7.4.2  AI视频分析业务181<br />7.4.3  MCU转码拼接业务185<br />7.5  本章小结187<br />第8章  编解码实现188<br />8.1  低功耗快速编码188<br />8.2  低延迟编解码192<br />8.3  码率控制194<br />8.3.1  恒定量化系数算法195<br />8.3.2  恒定码率算法和可变<br />码率算法196<br />8.3.3  前向预测算法199<br />8.3.4  智能恒定质量算法201<br />8.3.5  质量可定义的可变码<br />率算法202<br />8.4  动态码率控制202<br />8.5  准确控制每一帧图像编码的<br />量化系数203<br />8.6  多个R帧视频流的解码过程205<br />8.7  强制生成关键帧206<br />8.8  参考帧的动态选择206<br />8.9  参考帧添加重复信息207<br />8.10  长期参考帧208<br />8.11  可分层视频编码例程实现209<br />8.12  本章小结211<br />第9章  拼接显示实现212<br />9.1  拼接显示业务运行213<br />9.1.1  程序运行213<br />9.1.2  参数文件214<br />9.2  例程实现解析218<br />9.2.1  类关系概述219<br />9.2.2  会话创建和组件使用222<br />9..  异步流水线构建0<br />9.3  典型功能点实现4<br />9.3.1  动态增删输入视频流4<br />9.3.2  缩放裁剪配置<br />9.3.3  无效区域重置242<br />9.3.4  图像叠加243<br />9.4  拼接能优化244<br />9.4.1  缩放算法和引擎选择245<br />9.4.2  拼接任务的批量提交250<br />9.5  显示能优化252<br />9.5.1  拼接输出和显示帧缓存<br />零拷贝252<br />9.5.2  X Window和DRM混合<br />渲染258<br />9.5.3  NV12直接显示261<br />9.6  本章小结263<br />0章  能监测264<br />10.1  GPU监测264<br />?10.1.1  影响GPU能的主要<br />??因素264<br />?10.1.2  查看显卡基本信息267<br />?10.1.3  查看显卡使用率275<br />10.2  CPU监测278<br />?10.2.1  i7z278<br />?10.2.2  turbostat279<br />?10..  mpstat279<br />?10.2.4  top280<br />10.3  内存监测281<br />?10.3.1  基本信息281<br />?10.3.2  内存使用量分析282<br />10.4  Windows能监测287<br />?10.4.1  Windows资源管理器287<br />?10.4.2  Windows能分析器288<br />10.5  Intel VTune291<br />?10.5.1  系统总览291<br />?10.5.2  内存层次结构293<br />?10.5.3  基于时间线的详细分析293<br />10.6  码流分析294<br />10.7  本章小结296<br />1章  能验和优化297<br />11.1  测试环境概述298<br />11.2  基于Media SDK自带例程299<br />?11.2.1  纯解码验299<br />?11.2.2  解码显示验301<br />?11..  纯编码验303<br />?11.2.4  转码验305<br />?11.2.5  独显验306<br />11.3  基于OneVPL自带例程306<br />11.4  基于SVET306<br />?11.4.1  多路解码307<br />?11.4.2  多路解码+缩放和<br />?? CSC308<br />?11.4.3  多路解码+缩放和CSC+<br />  ?拼接308<br />?11.4.4  多路解码+缩放和CSC+<br />  ?拼接+显示309<br />?11.4.5  多路解码+缩放和CSC+<br />  ?拼接+显示+编码309<br />?11.4.6  多路推理309<br />11.5  能优化310<br />?11.5.1  分析能瓶颈310<br />?11.5.2  优化吞吐312<br />?11.5.3  优化延迟314<br />?11.5.4  优化拼接显示314<br />?11.5.5  优化SVET推理318<br />11.6  本章小结318<br />附录A  英特尔统一平台开发套件<br />OneAPI320<br />附录B  可扩展视频处理技术3<br />附录C  中国国标3的SVT<br />实现326<br />附录D  Media SDK支持的媒体<br />格式328<br /><br />

本书面向的读者为视频行业的广大从业人员，不管是新进入这个行业的开发小白，还是众多战斗在线的销售、售前以及现场等，甚至是具有数十年工作经验的资深软硬件开发人员，都可以从本书获益。