PyTorch深度学习和图神经网络(卷2) 开发应用 李金洪 著 专业科技 文轩网

第1章图片分类模型1
1．1深度神经网络起源2
1．2Inception系列模型2
1．2．1多分支结构2
1．2．2全局均值池化3
1．2．3InceptionV1模型3
1．2．4InceptionV2模型4
1．2．5InceptionV3模型5
1．2．6InceptionV4模型6
1．2．7Inception-ResNetV2模型6
1．3ResNet模型6
1．3．1残差连接的结构7
1．3．2残差连接的原理8
1．4DenseNet模型8
1．4．1DenseNet模型的网络结构8
1．4．2DenseNet模型的特点9
1．4．3稠密块9
1．5PNASNet模型9
1．5．1组卷积10
1．5．2深度可分离卷积11
1．5．3空洞卷积12
1．6EfficientNet模型14
1．6．1MBConv卷积块15
1．6．2DropConnect层16
1．7实例：使用预训练模型识别图片内容16
1．7．1了解torchvision库中的预训练模型16
1．7．2代码实现：下载并加载预训练模型17
1．7．3代码实现：加载标签并对输入数据进行预处理18
1．7．4代码实现：使用模型进行预测19
1．7．5代码实现：预测结果可视化20
1．8实例：使用迁移学习识别多种鸟类21
1．8．1什么是迁移学习21
1．8．2样本介绍：鸟类数据集CUB-20022
1．8．3代码实现：用torch．utils．data接口封装数据集22
1．8．4代码实现：获取并改造ResNet模型27
1．8．5代码实现：微调模型最后一层28
1．8．6代码实现：使用退化学习率对模型进行全局微调29
1．8．7扩展实例：使用随机数据增强方法训练模型30
1．8．8扩展：分类模型中常用的3种损失函数31
1．8．9扩展实例：样本均衡31
1．9从深度卷积模型中提取视觉特征33
1．9．1使用钩子函数的方式提取视觉特征33
1．9．2使用重组结构的方式提取视觉特征34
第2章机器视觉的高级应用37
2．1基于图片内容的处理任务38
2．1．1目标检测任务38
2．1．2图片分割任务38
2．1．3非极大值抑制算法39
2．1．4MaskR-CNN模型39
2．2实例：使用MaskR-CNN模型进行目标检测与语义分割41
2．2．1代码实现：了解PyTorch中目标检测的内置模型41
2．2．2代码实现：使用PyTorch中目标检测的内置模型42
2．2．3扩展实例：使用内置的预训练模型进行语义分割43
2．3基于视频内容的处理任务47
2．4实例：用GaitSet模型分析人走路的姿态，并进行身份识别47
2．4．1步态识别的做法和思路47
2．4．2GaitSet模型48
2．4．3多层全流程管线50
2．4．4水平金字塔池化51
2．4．5三元损失52
2．4．6样本介绍：CASIA-B数据集53
2．4．7代码实现：用torch．utils．data接口封装数据集54
2．4．8代码实现：用torch．utils．data．sampler类创建含多标签批次数据的采样器60
2．4．9代码实现：搭建GaitSet模型64
2．4．10代码实现：自定义三元损失类67
2．4．11代码实现：训练模型并保存模型权重文件69
2．4．12代码实现：测试模型72
2．4．13扩展实例：用深度卷积和优选池化优化模型77
2．4．14扩展实例：视频采样并提取轮廓78
2．4．15步态识别模型的局限性79
2．5调试技巧79
2．5．1解决显存过满损失值为0问题80
2．5．2跟踪PyTorch显存并查找显存泄露点81
第3章自然语言处理的相关应用83
3．1BERT模型与NLP任务的发展阶段84
3．1．1基础的神经网络阶段84
3．1．2BERTology阶段84
3．2NLP中的常见任务84
3．2．1基于文章处理的任务85
3．2．2基于句子处理的任务85
3．2．3基于句子中词的处理任务86
3．3实例：训练中文词向量87
3．3．1CBOW和Skip-Gram模型87
3．3．2代码实现：样本预处理并生成字典88
3．3．3代码实现：按照Skip-Gram模型的规则制作数据集90
3．3．4代码实现：搭建模型并进行训练92
3．3．5夹角余弦95
3．3．6代码实现：词嵌入可视化96
3．3．7词向量的应用97
3．4常用文本处理工具98
3．4．1spaCy库的介绍和安装98
3．4．2与PyTorch深度结合的文本处理库torchtext99
3．4．3torchtext库及其内置数据集与调用库的安装99
3．4．4torchtext库中的内置预训练词向量100
3．5实例：用TextCNN模型分析评论者是否满意100
3．5．1了解用于文本分类的卷积神经网络模型——TextCNN101
3．5．2样本介绍：了解电影评论数据集IMDB102
3．5．3代码实现：引入基础库102
3．5．4代码实现：用torchtext加载IMDB并拆分为数据集103
3．5．5代码实现：加载预训练词向量并进行样本数据转化105
3．5．6代码实现：定义带有Mish激活函数的TextCNN模型107
3．5．7代码实现：用数据集参数实例化模型109
3．5．8代码实现：用预训练词向量初始化模型109
3．5．9代码实现：用Ranger优化器训练模型109
3．5．10代码实现：使用模型进行预测112
3．6了解Transformers库113
3．6．1Transformers库的定义113
3．6．2Transformers库的安装方法114
3．6．3查看Transformers库的版本信息115
3．6．4Transformers库的3层应用结构115
3．7实例：使用Transformers库的管道方式完成多种NLP任务116
3．7．1在管道方式中指定NLP任务116
3．7．2代码实现：完成文本分类任务117
3．7．3代码实现：完成特征提取任务119
3．7．4代码实现：完成完形填空任务120
3．7．5代码实现：完成阅读理解任务121
3．7．6代码实现：完成摘要生成任务123
3．7．7预训练模型文件的组成及其加载时的固定文件名称124
3．7．8代码实现：完成实体词识别任务124
3．7．9管道方式的工作原理125
3．7．10在管道方式中加载指定模型127
3．8Transformers库中的AutoModel类128
3．8．1各种AutoModel类128
3．8．2AutoModel类的模型加载机制129
3．8．3Transformers库中更多的预训练模型130
3．9Transformers库中的BERTology系列模型131
3．9．1Transformers库的文件结构131
3．9．2查找Transformers库中可以使用的模型135
3．9．3实例：用BERT模型实现完形填空任务136
3．9．4扩展实例：用AutoModelWithMHead类替换BertForMaskedLM类138
3．10Transformers库中的词表工具139
3．10．1PreTrainedTokenizer类中的特殊词139
3．10．2PreTrainedTokenizer类的特殊词使用140
3．10．3向PreTrainedTokenizer类中添加词144
3．10．4实例：用手动加载GPT-2模型权重的方式将句子补充完整145
3．10．5子词的拆分148
3．11BERTology系列模型149
3．11．1Transformer之前的主流模型149
3．11．2Transformer模型151
3．11．3BERT模型153
3．11．4GPT-2模型157
3．11．5Transformer-XL模型157
3．11．6XLNet模型158
3．11．7XLNet模型与AE模型和AR模型间的关系161
3．11．8RoBERTa模型161
3．11．9SpanBERT模型162
3．11．10ELECTRA模型162
3．11．11T5模型163
3．11．12ALBERT模型164
3．11．13DistillBERT模型与知识蒸馏166
3．12实例：用迁移学习训练BERT模型来对中文分类167
3．12．1样本介绍167
3．12．2代码实现：构建数据集168
3．12．3代码实现：构建并加载BERT预训练模型169
3．12．4BERT模型类的内部逻辑170
3．12．5代码实现：用退化学习率训练模型172
3．12．6扩展：更多的中文预训练模型175
3．13实例：用R-GCN模型理解文本中的代词175
3．13．1代词数据集175
3．13．2R-GCN模型的原理与实现176
3．13．3将GAP数据集转化成图结构数据的思路179
3．13．4代码实现：用BERT模型提取代词特征181
3．13．5代码实现：用BERT模型提取其他词特征183
3．13．6用spaCy工具对句子依存分析185
3．13．7代码实现：使用spaCy和批次图方法构建图数据集187
3．13．8代码实现：搭建多层R-GCN模型192
3．13．9代码实现：搭建神经网络分类层193
3．13．10使用5折交叉验证方法训练模型196
第4章神经网络的可解释性197
4．1了解模型解释库198
4．1．1了解Captum工具198
4．1．2可视化可解释性工具CaptumInsights198
4．2实例：用可解释性理解数值分析神经网络模型199
4．2．1代码实现：载入模型199
4．2．2代码实现：用梯度积分算法分析模型的敏感属性200
4．2．3代码实现：用LayerConductance方法查看单个网络层中的神经元202
4．2．4代码实现：用NeuronConductance方法查看每个神经元所关注的属性204
4．3实例：用可解释性理解NLP相关的神经网络模型205
4．3．1词嵌入模型的可解释性方法205
4．3．2代码实现：载入模型类并将其处理过程拆开206
4．3．3代码实现：实例化并加载模型权重，提取模型的词嵌入层207
4．3．4代码实现：用梯度积分算法计算模型的可解释性208
4．3．5代码实现：输出模型可解释性的可视化图像210
4．4实例：用Bertviz工具可视化BERT模型权重211
4．4．1什么是Bertviz工具212
4．4．2代码实现：载入BERT模型并可视化其权重212
4．4．3解读BERT模型的权重可视化结果216
4．5实例：用可解释性理解图像处理相关的神经网络模型219
4．5．1代码实现：载入模型并进行图像分类219
4．5．2代码实现：用4种可解释性算法对模型进行可解释性计算220
4．5．3代码实现：可视化模型的4种可解释性算法结果221
4．6实例：用可解释性理解图片分类相关的神经网络模型222
4．6．1了解Grad-CAM方法223
4．6．2代码实现：加载ResNet18模型并注册钩子函数提取特征数据225
4．6．3代码实现：调用模型提取中间层特征数据和输出层权重226
4．6．4代码实现：可视化模型的识别区域227
第5章识别未知分类的方法——零次学习229
5．1了解零次学习230
5．1．1零次学习的思想与原理230
5．1．2与零次学习有关的常用数据集232
5．1．3零次学习的基本做法233
5．1．4直推式学习233
5．1．5泛化的零次学习任务233
5．2零次学习中的常见问题233
5．2．1领域漂移问题234
5．2．2原型稀疏性问题235
5．2．3语义间隔问题235
5．3带有视觉结构约束的VSC模型236
5．3．1分类模型中视觉特征的本质236
5．3．2VSC模型的原理237
5．3．3基于视觉中心点学习的约束方法238
5．3．4基于倒角距离的视觉结构约束方法239
5．3．5什么是对称的倒角距离239
5．3．6基于二分匹配的视觉结构约束方法239
5．3．7什么是指派问题与耦合矩阵240
5．3．8基于W距离的视觉结构约束方法240
5．3．9什么是很优传输241
5．3．10什么是很优传输中的熵正则化242
5．4详解Sinkhorn算法244
5．4．1Sinkhorn算法的求解转换244
5．4．2Sinkhorn算法的原理245
5．4．3Sinkhorn算法中参数ε的原理246
5．4．4举例Sinkhorn算法过程246
5．4．5Sinkhorn算法中的质量守恒248
5．4．6Sinkhorn算法的代码实现250
5．5实例：使用VSC模型来识别未知类别的鸟类图片252
5．5．1样本介绍：用于ZSL任务的鸟类数据集252
5．5．2代码实现：用迁移学习的方式获得训练数据集分类模型253
5．5．3使用分类模型提取图片视觉特征254
5．5．4代码实现：用多层图卷积神经网络实现VSC模型255
5．5．5代码实现：基于W距离的损失函数256
5．5．6加载数据并进行训练257
5．5．7代码实现：根据特征距离对图片进行分类258
5．6针对零次学习的性能分析259
5．6．1分析视觉特征的质量259
5．6．2分析直推式学习的效果260
5．6．3分析直推模型的能力261
5．6．4分析未知类别的聚类效果262
5．6．5清洗测试集263
5．6．6利用可视化方法进行辅助分析264
第6章异构图神经网络267
6．1异构图的基础知识268
6．1．1同构图与异构图268
6．1．2什么是异构图神经网络268
6．1．3二分图268
6．1．4局部图卷积270
6．2二分图的实现方式270
6．2．1用NetworkX实现二分图270
6．2．2使用DGL构建二分图272
6．2．3二分图对象的调试技巧275
6．3异构图的实现方式276
6．3．1创建异构图276
6．3．2设置异构图的节点个数277
6．3．3异构图结构的查看方式278
6．3．4异构图与同构图的相互转化280
6．3．5异构图与同构图的属性操作方式281
6．4随机行走采样282
6．4．1什么是随机行走283
6．4．2普通随机行走283
6．4．3带停止概率的随机行走284
6．4．4带路径概率的随机行走284
6．4．5基于原图的随机行走285
6．4．6在基于异构图的随机行走中设置停止概率286
6．4．7基于随机行走采样的数据处理287
6．4．8以随机行走的方式对邻居节点采样287
6．5DGL库中的块图结构289
6．5．1设计块图的动机289
6．5．2将同构图转化成块图290
6．5．3块图的属性操作290
6．5．4将二分图转化成块图291
6．6实例：使用PinSAGE模型搭建推荐系统292
6．6．1准备MoiveLens数据集292
6．6．2代码实现：用Panadas库加载数据293
6．6．3Categories与category类型294
6．6．4代码实现：生成异构图295
6．6．5代码实现：用边分组方法拆分并保存数据集296
6．6．6PinSAGE模型299
6．6．7代码实现：构建带有邻居节点采样功能的数据加载器300
6．6．8代码实现：PinSAGE模型的采样过程305
6．6．9代码实现：搭建PinSAGE模型309
6．6．10代码实现：实例化PinSAGE模型类并进行训练315
6．6．11代码实现：用PinSAGE模型为用户推荐电影315
6．6．12扩展：在PinSAGE模型中融合更多的特征数据317
6．7总结317