音像深度学嵌入应用开发:基于RK3399Pro和RK3588王曰海

前言章　深度学习基础　11.1　深度学习的现实应用　21.1.1　计算机视觉　21.1.2　自然语言处理　21.1.3　系统　31.1.4　语音处理　31.1.5　领域　31.2　回归问题和分类问题　41.2.1　线回归　51.2.2　Softmax分类　61.3　梯度下降算法　81.3.1　优化算法概述　81.3.2　随机梯度下降算法　101.3.3　小批量梯度下降算法　131.3.4　Momentum梯度下降算法　141.3.5　Adam优化算法　151.4　神经网络　161.4.1　神经网络的表示　161.4.2　激活函数及其导数　191.4.3　前向传播和反向传播　1.4.4　神经网络的梯度下降　261.5　本章小结　27第2章　卷积神经网络　282.1　卷积基础知识　282.1.1　卷积操作　292.1.2　池化　332.1.3　卷积的变种　342.2　深度卷积神经网络　372.2.1　卷积神经网络的整体结构　372.2.2　残差结构和1×1卷积　382..　经典卷积网络　41.　卷积神经网络的应用　44..1　图像分类　44..2　目标检测　45..　应用　492.4　本章小结　49第3章　循环神经网络　503.1　深度循环神经网络　503.1.1　循环神经网络概述　513.1.2　基于时间的反向传播　5.1.3　循环神经网络的长期依赖问题　543.2　循环神经网络变体　553.2.1　长短时记忆网络　553.2.2　门控循环神经网络　603.3　序列模型和注意力机制　613.3.1　Seq2Seq序列模型　6..2　注意力机制　643.3.3　Transformer结构　693.4　循环神经网络的应用　743.4.1　自然语言处理　743.4.2　语音识别　843.4.3　唤醒词检测　873.5　本章小结　88第4章　深度神经网络的训练　904.1　深度学习的学习策略　904.1.1　数据集划分和评估指标　904.1.2　偏差、方差和误差　944.1.3　神经网络的权重初始化　954.2　深度学习的训练技巧　964.2.1　梯度消失和梯度　964.2.2　正则化和随机失活　974..　归一化　994.2.4　自适应学习率　1004.2.5　超参数优化　1014.3　改善模型表现　1024.3.1　解决数据不匹配问题　1024.3.2　迁移学习　1034.4　动手训练神经网络　1044.4.1　Jupyter Notebook的使用　1044.4.2　训练MNIST手写数字识别模型　1064.4.3　TensorBoard的使用　1124.5　本章小结　115第5章　RK3399Pro芯片功能与架构　1165.1　RK3399Pro芯片的整体架构　1165.2　神经网络处理单元　1215.2.1　神经网络处理单元的4个模块　1225.2.2　RKNN-Toolkit开发套件　15..　RKNN-API开发套件　1265.3　视频处理单元　1265.4　图形处理加速单元　1285.5　本章小结　128第6章　TB-RK3399Pro开发板　1306.1　开发板硬件环境介绍　1306.1.1　硬件总览　1306.1.2　硬件规格　1316.2　开发板开发环境搭建　1346.2.1　开发板的启动和网络配置　1346.2.2　终端与软件包安装　1386.3　本章小结　144第7章　基于TB-RK3399Pro进行卷积神经网络实战　1457.1　TB-RK3399Pro图像采集　1457.1.1　原理　1457.1.2　实战　1467.2　TB-RK3399Pro手写数字识别　1477.2.1　原理　1477.2.2　实战　1507.3　TB-RK3399Pro YOLO目标检测　1527.3.1　原理　1537.3.2　实战　1547.4　TB-RK3399Pro人脸识别　1567.4.1　原理　1567.4.2　实战　1627.5　本章小结　163第8章　TB-RK3399Pro神经网络运算加速　1658.1　神经网络运算加速引擎介绍　1658.2　神经网络模型部署和推理　1668.2.1　模型部署　1678.2.2　模型推理　1698.3　神经网络模型量化　1708.4　本章小结　173第9章　基于TB-RK3399Pro开发板进行循环神经网络实战　1749.1　TB-RK3399Pro开发板声音采集　1749.1.1　环境安装　1749.1.2　声音采集　1759.2　语音识别模型介绍　1769.2.1　特征提取　1779.2.2　语音识别网络　1809..　评价指标　1829.3　TB-RK3399Pro语音识别实战　1829.3.1　实战目的　1829.3.2　实战数据　1829.3.3　实战环境　1839.3.4　实战步骤　1839.3.5　实战结果　1879.4　本章小结　1880章　基于Rock-X API的深度学习案例　18910.1　Rock-X SDK介绍　18910.2　Rock-X环境部署　19010.3　目标检测　19010.4　车牌识别　19510.5　人体关键点检测　19810.6　人脸关键点检测　20110.7　手指关键点检测　20510.8　人脸识别　20810.9　本章小结　2121章　TB-RK3588X开发板　21311.1　开发板硬件环境介绍　21311.1.1　产品简介　21311.1.2　芯片架构　21511.1.3　系统框图　21511.1.4　硬件规格　21611.2　开发板软件开发介绍　21811.2.1　开机启动　21811.2.2　固件升级　21811..　搭建系统环境　22111.2.4　编译配置　22111.2.5　镜像编译　22411.2.6　Linux系统下烧写镜像　22511.2.7　Windows系统下烧写镜像　22611.2.8　常见问题　22611.2.9　RKNN开发指南　22611.3　本章小结　227参考文献　228

未来的社会是智能的社会，智能体现在各种终端中，终端的智能需要算法和算力的结合，本书正是围绕人工智能算法的落地应用展开。在人工智能算法部分，本书更加关注算法的具体实现，算法的嵌入式落地以丰富的实践案例展示了瑞芯微人工智能芯片的加速能力，希望能够对嵌入式智能落地应用开发提供帮。
——史治国 浙江大学信息与工程学院副院长
在当前的人工智能浪潮下，各类算法越来越需要落地到各种应用场景中，这都离不开芯片的加速支持。瑞芯微3399Pro和3588是业界主流的人工智能芯片，其RKNN人工智能开发库易于上手，结合芯片进行算法的设计实施是本书的主旨。本书在介绍人工智能算法基本原理的基础上，重点介绍了芯片的加速库和丰富的应用案例，为相关智能产品的开发提供了较好的引导。
——林峥源 瑞芯微股份有限公司副总裁
在过去的十年里，云计算成功地缓解了日益增长的数据所带来的存储、管理等问题，但不能满足对响应时间和安全的要求，这对嵌入式人工智能发起了挑战。本书理论结合实践，讲述了深度学习模型从设计、训练、优化到端侧部署的完整过程，实属难能可贵。
——刘盼盼 某芯片大厂资深系统架构师

这是一本讲解如何基于当前主流的智能芯片RK3399Pro与RK3588进行端侧智能开发的著作，它将指导读者如何基于这两款芯片进行算法的设计与实施，瑞芯微官方。理论部分，以深度学习为主线，针对零基础的读者，不仅讲解了卷积神经网络、循环神经网络等深度神经网络的原理以及它们在计算机视觉、自然语言处理、语音识别等领域的经典算法，还讲解了深度神经网络的训练和模型优化。实践部分，以基于RK3399Pro与RK3588两款智能芯片的端侧智能开发为主线，讲解了芯片的功能架构、开发板及其开发环境、Rock-X API组件库，以及基于它们的各种端侧智能应用开发，包括各种神经网络的开发、神经网络的运算加速等，让读者掌握深度学习模型从设计、训练、优化到端侧部署的完整流程，快速学会人工智能应用的开发。