深度学习应用与实战 韩少云 等 编 专业科技 文轩网

第1部分深度学习基础算法与应用
第1章单层神经网络2
1.1深度学习的基本概念2
1.1.1深度学习的概述2
1.1.2神经网络3
1.2深度学习框架5
1.2.1常见框架介绍5
1.2.2张量6
1.3单层神经网络的概述6
1.3.1回归模型6
1.3.2二分类模型10
1.3.3多分类模型13
1.4单层神经网络实现鸢尾花分类17
1.4.1使用TensorFlow实现鸢尾花分类17
1.4.2使用PyTorch实现鸢尾花分类20
本章总结22
作业与练习22
第2章多层神经网络24
2.1多层神经网络的概述24
2.1.1隐藏层的意义24
2.1.2激活函数25
2.1.3反向传播27
2.1.4异或处理代码实现28
2.2梯度下降算法30
2.2.1批量梯度下降算法30
2.2.2随机梯度下降算法31
2.2.3小批量梯度下降算法31
2.3正则化处理31
2.3.1L1正则化与L2正则化31
2.3.2Dropout正则化31
2.3.3提前停止32
2.3.4批量标准化32
2.4手写数字识别
2.4.1MNIST数据集简介32
2.4.2使用TensorFlow实现MNIST手写数字分类33
2.4.3使用PyTorch实现MNIST手写数字分类36
本章总结39
作业与练习39
第3章卷积神经网络41
3.1图像基础原理41
3.1.1像素41
3.1.2灰度值42
3.1.3彩色图像表达42
3.2卷积的作用及原理43
3.2.1卷积的概述43
3.2.2卷积运算的原理43
3.2.3卷积运算的方式44
3.2.4卷积表达的含义44
3.2.5卷积相关术语45
3.3卷积神经网络的基本结构46
3.3.1卷积神经网络的网络结构46
3.3.2卷积层47
3.3.3ReLU层47
3.3.4池化层48
3.3.5全连接层49
3.4基于卷积神经网络实现MNIST手写数字识别49
3.4.1构建卷积神经网络模型49
3.4.2使用TensorFlow实现卷积神经网络MNIST手写数字分类50
3.4.3使用PyTorch实现卷积神经网络MNIST手写
数字分类52
本章总结55
作业与练习55
第4章优化算法与模型管理57
4.1数据增强57
4.1.1数据增强的意义57
4.1.2使用TensorFlow实现数据增强58
4.1.3使用PyTorch实现数据增强59
4.2梯度下降优化60
4.2.1梯度下降优化的必要性60
4.2.2Momentum优化器60
4.2.3Adagrad优化器60
4.2.4RMSprop优化器61
4.2.5Adam优化器62
4.3模型的保存与加载62
4.3.1TensorFlow模型保存与加载62
4.3.2PyTorch模型保存与加载63
4.4项目案例：车辆识别64
4.4.1汽车数据集65
4.4.2项目案例实现65
本章总结70
作业与练习70
第2部分深度学习进阶算法与应用
第5章深度卷积神经网络74
5.1深度卷积神经网络的概述74
5.2AlexNet75
5.2.1AlexNet的网络结构75
5.2.2构建AlexNet模型77
5.3VGG79
5.3.1VGG的网络结构79
5.3.2构建VGG模型80
5.4NiN81
5.4.1NiN的网络结构81
5.4.2构建NiN模型83
5.5GoogLeNet85
5.5.1GoogLeNet的网络结构85
5.5.2构建GoogLeNet模型88
5.6项目案例：车辆多属性识别90
5.6.1多属性识别91
5.6.2项目案例实现91
本章总结100
作业与练习100
第6章高效的卷积神经网络102
6.1ResNet102
6.1.1ResNet的网络结构102
6.1.2构建ResNet模型103
6.2DenseNet109
6.2.1DenseNet的网络结构110
6.2.2构建DenseNet模型111
6.3MobileNet112
6.3.1MobileNet的网络结构112
6.3.2构建MobileNet模型113
6.4项目案例：违规驾驶行为识别114
本章总结126
作业与练习126
第7章目标检测128
7.1目标检测的概述128
7.2两阶段目标检测129
7.2.1R-CNN129
7.2.2FastR-CNN和FasterR-CNN130
7.2.3MaskR-CNN132
7.3一阶段目标检测133
7.3.1YOLO系列133
7.3.2SSD137
7.4项目案例：车辆检测137
本章总结144
作业与练习144
第8章循环神经网络145
8.1循环神经网络的概述145
8.2LSTM神经网络147
8.2.1LSTM神经网络的网络结构147
8.2.2LSTM门机制147
8.3GRU神经网络148
8.3.1GRU神经网络的网络结构148
8.3.2GRU门机制148
8.4项目案例：文本生成149
本章总结159
作业与练习159
第9章深度循环神经网络160
9.1深度循环神经网络的概述160
9.1.1深度循环神经网络的特点160
9.1.2双向LSTM神经网络162
9.2项目案例：短时交通流量预测163
9.2.1解决方案163
9.2.2项目案例实现164
本章总结177
作业与练习177
第3部分时空数据模型与应用
第10章CNN-LSTM混合模型180
10.1编码器-解码器模型180
10.1.1模型结构180
10.1.2构建编码器-解码器模型182
10.2项目案例：基于时空特征的交通事故预测183
10.2.1数据集和评价指标184
10.2.2项目案例实现184
本章总结193
作业与练习193
第11章多元时间序列神经网络195
11.1图195
11.1.1结构和信号196
11.1.2图结构197
11.1.3图神经网络197
11.2图卷积网络198
11.2.1基本原理198
11.2.2数学运算199
11.2.3使用GCN模型实现图像识别200
11.3多元时间序列神经网络的概述205
11.3.1DCRNN205
11.3.2seq2seq模型207
11.4项目案例：基于DCRNN实现交通流量预测209
11.4.1解决方案209
11.4.2项目案例实现210
本章总结226
作业与练习227
第12章MTGNN与交通流量预测228
12.1基于MTGNN实现交通流量预测228
12.1.1MTGNN的网络结构229
12.1.2MTGNN时空卷积229
12.2PyTorch-Lightning231
12.2.1安装231
12.2.2基本使用231
12.3项目案例：基于MTGNN实现交通流量预测232
本章总结245
作业与练习246
第13章注意力机制247
13.1注意力机制的概述247
13.1.1机器翻译中的注意力机制248
13.1.2自注意力机制的概述251
13.2项目案例：视频异常检测253
本章总结266
作业与练习266
第14章Transformer268
14.1Transformer的概述268
14.1.1Transformer的简介269
14.1.2Transformer的总体结构269
14.2Self-Attention机制271
14.2.1Self-Attention机制的原理271
14.2.2Self-Attention的计算过程272
14.2.3PositionalEncoding和LayerNorm273
14.3项目案例：轨迹预测275
14.3.1解决方案275
14.3.2车辆轨迹预测数据集276
14.3.3实现过程278
本章总结290
作业与练习290
第4部分生成对抗网络及其应用
第15章生成对抗网络294
15.1生成对抗网络的概述294
15.1.1GAN模型的结构294
15.1.2GAN模型的训练过程295
15.2TecoGAN模型296
15.2.1TecoGAN模型的结构297
15.2.2TecoGAN损失函数297
15.2.3TecoGAN评价指标298
15.3项目案例：视频超分辨率298
本章总结306
作业与练习306
第16章车牌检测与识别307
16.1项目案例：车牌检测与识别307
16.1.1数据集308
16.1.2MTCNN模型309
16.1.3LPRNet311
16.2项目案例实现312
本章总结323
作业与练习324