[正版]2册 PyTorch深度学习和图神经网络 卷1基础知识+卷2开发应用 深度学习入门与实战 框架机器学习人工智能自

         店铺公告

  为保障消费者合理购买需求及公平交易机会，避免因非生活消费目的的购买货囤积商品，抬价转售等违法行为发生，店铺有权对异常订单不发货且不进行赔付。异常订单：包括但不限于相同用户ID批量下单，同一用户（指不同用户ID，存在相同/临近/虚构收货地址，或相同联系号码，收件人，同账户付款人等情形的）批量下单（一次性大于5本），以及其他非消费目的的交易订单。

温馨提示：请务必当着快递员面开箱验货，如发现破损，请立即拍照拒收，如验货有问题请及时联系在线客服处理，（如开箱验货时发现破损，所产生运费由我司承担，一经签收即为货物完好，如果您未开箱验货，一切损失就需要由买家承担，所以请买家一定要仔细验货），

关于退货运费：对于下单后且物流已发货货品在途的状态下，原则上均不接受退货申请，如顾客原因退货需要承担来回运费，如因产品质量问题（非破损问题）可在签收后，联系在线客服。

  本店存在书、古旧书、收藏书、二手书等特殊商品，因受采购成本限制,可能高于定价销售，明码标价，介意者勿拍!

1.书籍因稀缺可能导致售价高于定价,图书实际定价参见下方详情内基本信息,请买家看清楚且明确后再拍，避免价格争议!

2.店铺无纸质均开具电子，请联系客服开具电子版

 

PyTorch深度学习和图神经网络 卷1 基础知识    9787115549839    129.8元

内容涵盖深度学习基础相关的网络模型和算法思想、图神经网络的原理和基础模型，及在PyTorch框架上的实现代码，提供源代码下载

PyTorch深度学习和图神经网络 卷2 开发应用    9787115560926    129.8元

涵盖了与图神经网络有关的完整技术栈，并从图像、视频、文本、可解释性等应用角度提供项目级别实战案例，及零次学习技术及实例，提供源代码

作者:李金洪出版社:人民邮电出版社出版时间:2021年12月 

 

《PyTorch深度学习和图神经网络 卷1 基础知识》

介绍深度学习与图神经网络相关的一系列技术与实现方法；

内容涵盖PyTorch的使用、神经网络的原理、神经网络的基础模型、图神经网络的原理、图神经网络的基础模型；

书中给出用PyTorch实现的网络模型和算法实例代码；

提供本书源代码下载

内容简介

本书从基础知识开始，介绍深度学习与图神经网络相关的一系列技术与实现方法，主要内容包括PyTorch的使用、神经网络的原理、神经网络的基础模型、图神经网络的基础模型。书中侧重讲述与深度学习基础相关的网络模型和算法思想，以及图神经网络的原理，且针对这些知识点给出在PyTorch框架上的实现代码。

本书适合想学习图神经网络的技术人员、人工智能从业人员阅读，也适合作为大专院校相关专业的师生用书和培训班的教材。

作者简介

李金洪， 精通C、Python、Java语言，擅长神经网络、算法、协议分析、移动互联网安全架构等技术，先后担任过CAD算法工程师、架构师、项目经理、部门经理等职位。参与过深度学习领域某移动互联网后台的OCR项目，某娱乐节目机器人的语音识别、声纹识别项目，金融领域的若干分类项目。

目 录

目录

第 一篇 入门——PyTorch基础

第1章 快速了解人工智能与PyTorch3

1.1图神经网络与深度学习4

1.1.1深度神经网络4

1.1.2图神经网络4

1.2PyTorch是做什么的4

1.3PyTorch的特点5

1.4PyTorch与TensorFlow各有所长6

1.5如何使用本书学好深度学习8

第2章 搭建开发环境9

2.1下载及安装Anaconda10

2.1.1下载Anaconda开发工具10

2.1.2安装Anaconda开发工具10

2.1.3安装Anaconda开发工具时的注意事项11

2.2安装PyTorch11

2.2.1打开PyTorch官网12

2.2.2配置PyTorch安装命令12

2.2.3使用配置好的命令安装PyTorch12

2.2.4配置PyTorch的镜像源13

2.3熟悉Anaconda 3的开发工具15

2.3.1快速了解Spyder15

2.3.2快速了解Jupyter Notebook17

2.4测试开发环境18

第3章PyTorch基本开发步骤——用逻辑回归拟合二维数据19

3.1实例1：从一组看似混乱的数据中找出规律20

3.1.1准备数据20

3.1.2定义网络模型21

3.1.3搭建网络模型22

3.1.4训练模型23

3.1.5可视化训练结果23

3.1.6使用及评估模型24

3.1.7可视化模型25

3.2模型是如何训练出来的26

3.2.1模型里的内容及意义26

3.2.2模型内部数据流向27

3.3总结27

第4章 快速上手PyTorch29

4.1神经网络中的几个基本数据类型30

4.2张量类的基础30

4.2.1定义张量的方法30

4.2.2张量的类型32

4.2.3张量的type()方法33

4.3张量与NumPy34

4.3.1张量与NumPy类型数据的相互转换34

4.3.2张量与NumPy各自的形状获取34

4.3.3张量与NumPy各自的切片操作34

4.3.4张量与NumPy类型数据相互转换间的陷阱35

4.4在CPU和GPU控制的内存中定义张量36

4.4.1将CPU内存中的张量转化到GPU内存中36

4.4.2直接在GPU内存中定义张量36

4.4.3使用to()方法来指定设备36

4.4.4使用环境变量CUDA_VISIBLE_DEVICES来指定设备36

4.5生成随机值张量37

4.5.1设置随机值种子37

4.5.2按照指定形状生成随机值37

4.5.3生成线性空间的随机值37

4.5.4生成对数空间的随机值38

4.5.5生成未初始化的矩阵38

4.5.6更多的随机值生成函数38

4.6张量间的数学运算38

4.6.1PyTorch的运算函数39

4.6.2PyTorch的自变化运算函数39

4.7张量间的数据操作39

4.7.1用torch.reshape()函数实现数据维度变换39

4.7.2实现张量数据的矩阵转置40

4.7.3view()方法与contiguous()方法40

4.7.4用torch.cat()函数实现数据连接41

4.7.5用torch.chunk()函数实现数据均匀分割41

4.7.6用torch.split()函数实现数据不均匀分割42

4.7.7用torch.gather()函数对张量数据进行检索42

4.7.8按照指定阈值对张量进行过滤42

4.7.9找出张量中的非零值索引43

4.7.10根据条件进行多张量取值43

4.7.11根据阈值进行数据截断43

4.7.12获取数据中值、小值的索引43

4.8Variable类型与自动微分模块44

4.8.1自动微分模块简介44

4.8.2Variable对象与张量对象之间的转化44

4.8.3用no_grad()与enable_grad()控制梯度计算45

4.8.4函数torch.no_grad()介绍45

4.8.5函数enable_grad()与no_grad()的嵌套46

4.8.6用set_grad_enabled()函数统一管理梯度计算47

4.8.7Variable对象的grad_fn属性47

4.8.8Variable对象的is_leaf属性48

4.8.9用backward()方法自动求导48

4.8.10自动求导的作用49

4.8.11用detach()方法将Variable对象分离成叶子节点49

4.8.12volatile属性扩展50

4.9定义模型结构的步骤与方法50

4.9.1代码实现：Module类的使用方法50

4.9.2模型中的参数Parameters类52

4.9.3为模型添加参数53

4.9.4从模型中获取参数53

4.9.5保存与载入模型56

4.9.6模型结构中的钩子函数57

4.10模型的网络层58

第5章 神经网络的基本原理与实现59

5.1了解深度学习中的神经网络与神经元60

5.1.1了解单个神经元60

5.1.2生物神经元与计算机神经元模型的结构相似性62

5.1.3生物神经元与计算机神经元模型的工作流程相似性63

5.1.4神经网络的形成63

5.2深度学习中的基础神经网络模型63

5.3什么是全连接神经网络64

5.3.1全连接神经网络的结构64

5.3.2实例2：分析全连接神经网络中每个神经元的作用64

5.3.3全连接神经网络的拟合原理66

5.3.4全连接神经网络的设计思想67

5.4激活函数——加入非线性因素，弥补线性模型缺陷68

5.4.1Sigmoid函数68

5.4.2tanh函数69

5.4.3ReLU函数70

5.4.4激活函数的多种形式72

5.4.5扩展1：更好的激活函数（Swish与Mish）73

5.4.6扩展2：更适合NLP任务的激活函数（GELU）74

5.5激活函数总结75

5.6训练模型的步骤与方法76

5.7神经网络模块（nn）中的损失函数76

5.7.1L1损失函数76

5.7.2均值平方差（MSE）损失函数77

5.7.3交叉熵损失（CrossEntropyLoss）函数77

5.7.4其他的损失函数78

5.7.5总结：损失算法的选取79

5.8Softmax算法——处理分类问题79

5.8.1什么是Softmax80

5.8.2Softmax原理80

5.8.3常用的Softmax接口80

5.8.4实例3：Softmax与交叉熵的应用81

5.8.5总结：更好地认识Softmax82

5.9优化器模块82

5.9.1了解反向传播与BP算法82

5.9.2优化器与梯度下降83

5.9.3优化器的类别83

5.9.4优化器的使用方法83

5.9.5查看优化器的参数结构84

5.9.6常用的优化器——Adam85

5.9.7更好的优化器——Ranger85

5.9.8如何选取优化器85

5.10退化学习率——在训练的速度与精度之间找到平衡86

5.10.1设置学习率的方法——退化学习率86

5.10.2退化学习率接口（lr_scheduler）87

5.10.3使用lr_scheduler接口实现多种退化学习率88

5.11实例4：预测泰坦尼克号船上的生存乘客91

5.11.1载入样本91

5.11.2样本的特征分析——离散数据与连续数据92

5.11.3处理样本中的离散数据和Nan值93

5.11.4分离样本和标签并制作成数据集95

5.11.5定义Mish激活函数与多层全连接网络96

5.11.6训练模型并输出结果97

第二篇 基础——神经网络的监督训练与无监督训练

第6章 实例5：识别黑白图中的服装图案101

6.1熟悉样本：了解Fashion-MNIST数据集102

6.1.1Fashion-MNIST的起源102

6.1.2Fashion-MNIST的结构102

6.1.3手动下载Fashion-MNIST数据集103

6.1.4代码实现：自动下载Fashion-MNIST数据集103

6.1.5代码实现：读取及显示Fashion-MNIST中的数据104

6.2制作批次数据集105

6.2.1数据集封装类DataLoader105

6.2.2代码实现：按批次封装Fashion-MNIST数据集106

6.2.3代码实现：读取批次数据集107

6.3构建并训练模型108

6.3.1代码实现：定义模型类108

6.3.2代码实现：定义损失的计算方法及优化器110

6.3.3代码实现：训练模型110

6.3.4代码实现：保存模型111

6.4加载模型，并用其进行预测111

6.5评估模型112

6.6扩展：多显卡并行训练113

6.6.1代码实现：多显卡训练113

6.6.2多显卡训练过程中，保存与读取模型文件的注意事项115

6.6.3在切换设备环境时，保存与读取模型文件的注意事项116

6.6.4处理显存残留问题116

第7章 监督学习中的神经网络119

7.1从视觉的角度理解卷积神经网络120

7.1.1生物视觉系统原理120

7.1.2微积分120

7.1.3离散微分与离散积分120

7.1.4视觉神经网络中的离散积分121

7.2卷积神经网络的结构121

7.2.1卷积神经网络的工作过程122

7.2.2卷积神经网络与全连接网络的区别123

7.2.3了解1D卷积、2D卷积和3D卷积123

7.2.4实例分析：Sobel算子的原理123

7.2.5深层神经网络中的卷积核126

7.2.6理解卷积的数学意义——卷积分126

7.3卷积神经网络的实现127

7.3.1了解卷积接口127

7.3.2卷积操作的类型129

7.3.3卷积参数与卷积结果的计算规则130

7.3.4实例6：卷积函数的使用130

7.3.5实例7：使用卷积提取图片的轮廓135

7.4深层卷积神经网络138

7.4.1深层卷积神经网络组成138

7.4.2池化操作140

7.4.3了解池化接口140

7.4.4实例8：池化函数的使用141

7.4.5实例9：搭建卷积神经网络143

7.5循环神经网络结构145

7.5.1了解人的记忆原理145

7.5.2循环神经网络的应用领域146

7.5.3循环神经网络的正向传播过程147

7.5.4BP算法与BPTT算法的原理148

7.5.5实例10：简单循环神经网络实现——设计一个退位减法器149

7.6常见的循环神经网络单元及结构154

7.6.1长短记忆（LSTM）单元155

7.6.2门控循环单元（GRU）157

7.6.3只有忘记门的LSTM（JANET）单元158

7.6.4独立循环（IndRNN）单元158

7.6.5双向RNN结构159

7.7实例11：用循环神经网络训练语言模型160

7.7.1什么是语言模型161

7.7.2词表与词向量161

7.7.3词向量的原理与实现161

7.7.4NLP中多项式分布162

7.7.5循环神经网络的实现163

7.7.6实现语言模型的思路与步骤164

7.7.7代码实现：准备样本165

7.7.8代码实现：构建循环神经网络(RNN）模型167

7.7.9代码实现：实例化模型类，并训练模型168

7.7.10代码实现：运行模型生成句子171

7.8过拟合问题及优化技巧172

7.8.1实例12：训练具有过拟合问题的模型172

7.8.2改善模型过拟合的方法175

7.8.3了解正则化175

7.8.4实例13：用L2正则改善模型的过拟合状况176

7.8.5实例14：通过增大数据集改善模型的过拟合状况178

7.8.6Dropout方法179

7.8.7实例15： 通过Dropout方法改善模型的过拟合状况180

7.8.8全连接网络的深浅与泛化能力的联系182

7.8.9了解批量归一化（BN）算法182

7.8.10实例16： 手动实现批量归一化的计算方法185

7.8.11实例17： 通过批量归一化方法改善模型的过拟合状况187

7.8.12使用批量归一化方法时的注意 事项188

7.8.13扩展：多种批量归一化算法介绍188

7.9神经网络中的注意力机制189

7.9.1注意力机制的实现189

7.9.2注意力机制的软、硬模式190

7.9.3注意力机制模型的原理190

7.9.4多头注意力机制191

7.9.5自注意力机制192

7.10实例18：利用注意力循环神经网络对图片分类192

7.10.1循环神经网络处理图片分类任务的原理192

7.10.2代码实现：搭建LSTM网络模型193

7.10.3代码实现：构建注意力机制类193

7.10.4代码实现：构建输入数据并训练模型196

7.10.5使用并评估模型197

7.10.6扩展1：使用梯度剪辑技巧优化训练过程197

7.10.7扩展2：使用JANET单元完成RNN198

7.10.8扩展3：使用IndRNN单元实现RNN198

第８章 无监督学习中的神经网络199

8.1快速了解信息熵200

8.1.1信息熵与概率的计算关系200

8.1.2联合熵202

8.1.3条件熵202

8.1.4交叉熵203

8.1.5相对熵——KL散度203

8.1.6JS散度204

8.1.7互信息204

8.2通用的无监督模型——自编码神经网络与对抗神经网络205

8.3自编码神经网络206

8.3.1自编码神经网络的结构206

8.3.2自编码神经网络的计算过程206

8.3.3自编码神经网络的作用与意义207

8.3.4变分自编码神经网络207

8.3.5条件变分自编码神经网络208

8.4实例19：用变分自编码神经网络模型生成模拟数据208

8.4.1变分自编码神经网络模型的结构介绍208

8.4.2代码实现：引入模块并载入样本209

8.4.3代码实现：定义变分自编码神经网络模型的正向结构210

8.4.4变分自编码神经网络模型的反向传播与KL散度的应用211

8.4.5代码实现：完成损失函数和训练函数212

8.4.6代码实现：训练模型并输出可视化结果213

8.4.7代码实现：提取样本的低维特征并进行可视化214

8.4.8代码实现：可视化模型的输出空间215

8.5实例20：用条件变分自编码神经网络生成可控模拟数据216

8.5.1条件变分自编码神经网络的实现216

8.5.2代码实现：定义条件变分自编码神经网络模型的正向结构217

8.5.3代码实现：训练模型并输出可视化结果218

8.6对抗神经网络219

8.6.1对抗神经网络的工作过程219

8.6.2对抗神经网络的作用220

8.6.3GAN模型难以训练的原因220

8.6.4WGAN模型——解决GAN难以训练的问题221

8.6.5分析WGAN的不足222

8.6.6WGAN-gp模型——更容易训练的GAN模型223

8.6.7条件GAN 2248.6.8带有W散度的GAN——WGAN-div225

8.7实例21：用WGAN-gp模型生成模拟数据226

8.7.1DCGAN中的全卷积226

8.7.2上采样与下采样227

8.7.3实例归一化228

8.7.4代码实现：引入模块并载入样本228

8.7.5代码实现：定义生成器与判别器229

8.7.6激活函数与归一化层的位置关系231

8.7.7代码实现：定义函数完成梯度惩罚项234

8.7.8代码实现：定义模型的训练函数235

8.7.9代码实现：定义函数，可视化模型结果237

8.7.10代码实现：调用函数并训练模型237

8.7.11练习题238

8.8实例22：用条件GAN生成可控模拟数据239

8.8.1代码实现：定义条件GAN模型的正向结构239

8.8.2代码实现：调用函数并训练模型240

8.9实例23：实现带有W散度的GAN——WGAN-div模型241

8.9.1代码实现：完成W散度的损失函数241

8.9.2代码实现：定义训练函数来训练模型242

8.10散度在神经网络中的应用243

8.10.1f-GAN框架243

8.10.2基于f散度的变分散度小化方法243

8.10.3用Fenchel共轭函数实现f-GAN244

8.10.4f-GAN中判别器的激活函数246

8.10.5互信息神经估计247

8.10.6实例24：用神经网络估计互信息249

8.10.7稳定训练GAN模型的经验和技巧252

8.11实例25：用化深度互信息模型执行图片搜索器253

8.11.1DIM模型的原理254

8.11.2DIM模型的结构254

8.11.3代码实现：加载CIFAR数据集257

8.11.4代码实现：定义DIM模型260

8.11.5代码实现：实例化DIM模型并进行训练262

8.11.6代码实现：加载模型搜索图片264

第9章 快速了解图神经网络——少量样本也可以训练模型269

9.1图神经网络的相关基础知识270

9.1.1欧氏空间与非欧氏空间270

9.1.2图270

9.1.3图相关的术语和度量270

9.1.4图神经网络271

9.1.5GNN的动机271

9.2矩阵的基础272

9.2.1转置矩阵272

9.2.2对称矩阵及其特性272

9.2.3对角矩阵与单位矩阵272

9.2.4哈达马积273

9.2.5点积273

9.2.6对角矩阵的特性与操作方法273

9.2.7度矩阵与邻接矩阵275

9.3邻接矩阵的几种操作275

9.3.1获取有向图的短边和长边276

9.3.2将有向图的邻接矩阵转成无向图的邻接矩阵277

9.4实例26：用图卷积神经网络为论文分类278

9.4.1CORA数据集278

9.4.2代码实现：引入基础模块并设置运行环境279

9.4.3代码实现：读取并解析论文数据279

9.4.4代码实现：读取并解析论文关系数据281

9.4.5代码实现：加工图结构的矩阵数据283

9.4.6代码实现：将数据转为张量，并分配运算资源284

9.4.7代码实现：定义Mish激活函数与图卷积操作类284

9.4.8代码实现：搭建多层图卷积网络286

9.4.9代码实现：用Ranger优化器训练模型并可视化结果287

9.5图卷积神经网络290

9.5.1图结构与拉普拉斯矩阵的关系290

9.5.2拉普拉斯矩阵的3种形式291

9.6扩展实例：用Multi-sample Dropout优化模型的训练速度291

9.6.1Multi-sample Dropout方法292

9.6.2代码实现：为图卷积模型添加Multi-sample Dropout方法292

9.6.3代码实现：使用带有Multi-sample Dropout方法的图卷积模型293

9.7从图神经网络的视角看待深度学习294

9.8图神经网络使用拉普拉斯矩阵的原因295

9.8.1节点与邻接矩阵的点积作用295

9.8.2拉普拉斯矩阵的点积作用296

9.8.3重新审视图卷积的拟合本质296

9.8.4点积计算并不是方法296

第10章 基于空间域的图神经网络实现297

10.1重新认识图卷积神经网络298

10.1.1基于谱域的图处理298

10.1.2基于顶点域的图处理298

10.1.3基于顶点域的图卷积298

10.1.4图卷积的特性299

10.2实例27：用图注意力神经网络为论文分类300

10.2.1图注意力网络300

10.2.2工程部署301

10.2.3代码实现：对邻接矩阵进行对称归一化拉普拉斯矩阵转化301

10.2.4代码实现：搭建图注意力神经网络层301

10.2.5代码实现：搭建图注意力模型类302

10.2.6代码实现：实例化图注意力模型，并进行训练与评估303

10.2.7常用的图神经网络库304

10.3图神经网络常用库——DGL库305

10.3.1DGL库的实现与性能305

10.3.2安装DGL库的方法及注意事项305

10.3.3DGL库中的数据集306

10.3.4DGL库中的图307

10.3.5DGL库中的内联函数307

10.3.6扩展：了解PyG库307

10.4DGLGraph图的基本操作308

10.4.1DGLGraph图的创建与维护308

10.4.2查看DGLGraph图中的度309

10.4.3DGLGraph图与NetWorkx图的相互转化310

10.4.4NetWorkx库311

10.4.5DGLGraph图中顶点属性的操作313

10.4.6DGLGraph图中边属性的操作314

10.4.7DGLGraph图属性操作中的注意事项314

10.4.8使用函数对图的顶点和边进行计算315

10.4.9使用函数对图的顶点和边进行过滤315

10.4.10DGLGraph图的消息传播316

10.4.11DGL库中的多图处理317

10.5实例28：用带有残差结构的多层GAT模型实现论文分类318

10.5.1代码实现：使用DGL数据集加载CORA样本319

10.5.2用邻居聚合策略实现GATConv321

10.5.3代码实现：用DGL库中的GATConv搭建多层GAT模型323

10.5.4代码实现：使用早停方式训练模型并输出评估结果324

10.6图卷积模型的缺陷327

10.6.1全连接网络的特征与缺陷327

10.6.2图卷积模型的缺陷328

10.6.3弥补图卷积模型缺陷的方法328

10.6.4从图结构角度理解图卷积原理及缺陷328

10.7实例29：用简化图卷积模型实现论文分类329

10.7.1SGC的网络结构330

10.7.2DGL库中SGC模型的实现方式331

10.7.3代码实现：搭建SGC模型并进行训练333

10.7.4扩展：SGC模型的不足334

10.8实例30：用图滤波神经网络模型实现论文分类334

10.8.1GfNN的结构334

10.8.2代码实现：搭建GfNN模型并进行训练335

10.9实例31：用深度图互信息模型实现论文分类337

10.9.1DGI模型的原理与READOUT函数337

10.9.2代码实现：搭建多层SGC网络338

10.9.3代码实现：搭建编码器和判别器339

10.9.4代码实现：搭建DGI模型并进行训练340

10.9.5代码实现：利用DGI模型提取特征并进行分类342

10.10实例32：用图同构网络模型实现论文分类344

10.10.1多重集与单射344

10.10.2GIN模型的原理与实现344

10.10.3代码实现：搭建多层GIN模型并进行训练346

10.11实例33：用APPNP模型实现论文分类347

10.11.1APPNP模型的原理与实现347

10.11.2代码实现：搭建APPNP模型并进行训练349

10.12实例34：用JKNet模型实现论文分类351

10.12.1JKNet模型结构351

10.12.2代码实现：修改图数据的预处理部分352

10.12.3代码实现：搭建JKNet模型并进行训练352

10.13总结355

…………………………………………………………………………………………………………………………………………

《PyTorch深度学习和图神经网络 卷2 开发应用》

1.知识系统，逐层递进。

本书着重于图神经网络相关的系统知识和基础原理的讲解。内容方面涵盖了与图神经网络有关的完整技术栈。在上册《PyTorch深度学习和图神经网络（卷1）——基础知识》的基础原理之上结合实践，分别从图像、视频、文本、可解释性等应用角度提供项目级别实战案例即代码实例。并基于图片分类中常见的样本不足问题，介绍了零次学习技术及实例。

2.跟进前沿技术，大量引用前沿论文

本书中所介绍的知识中，有很大比例源自近几年的前沿技术。在介绍其原理和应用的同时，还附有论文的出处，这些论文引用可以方便读者对感兴趣的知识进行溯源，并可以自主扩展阅读。在系统掌握了基础知识之后，为后续的能力进阶提供了扩展空间。

3.插图较多便于学习

本书在介绍模型结构、原理的同时，还提供了大量的插图。这些图解有的可视化了模型中的数据流向、有的展示了模型拟合能力、有的细化了某种技术的内部原理、有的直观化了模型的内部结构。可以帮助读者对知识更容易、快捷的理解和掌握。

4.提供源代码下载

内容简介

本书通过深度学习实例，从可解释性角度出发，阐述深度学习的原理，并将图神经网络与深度学习结合，介绍图神经网络的实现技术。本书分为6章，主要内容包括：图片分类模型、机器视觉的高级应用、自然语言处理的相关应用、神经网络的可解释性、识别未知分类的方法——零次学习、异构图神经网络。本书中的实例是在PyTorch框架上完成的，具有较高的实用价值。

本书适合人工智能从业者、程序员进阶学习，也适合作为大专院校相关专业师生的教学和学习用书，以及培训学校的教材。

作者简介

李金洪， 精通C、Python、Java语言，擅长神经网络、算法、协议分析、移动互联网安全架构等技术，先后担任过CAD算法工程师、架构师、项目经理、部门经理等职位。参与过深度学习领域某移动互联网后台的OCR项目，某娱乐节目机器人的语音识别、声纹识别项目，金融领域的若干分类项目。

目 录

目录

第1章 图片分类模型1

1.1深度神经网络起源2

1.2Inception系列模型2

1.2.1多分支结构2

1.2.2全局均值池化3

1.2.3Inception V1模型3

1.2.4Inception V2模型4

1.2.5Inception V3模型5

1.2.6Inception V4模型6

1.2.7Inception-ResNet V2模型6

1.3ResNet模型6

1.3.1残差连接的结构7

1.3.2残差连接的原理8

1.4DenseNet模型8

1.4.1DenseNet模型的网络结构8

1.4.2DenseNet模型的特点9

1.4.3稠密块9

1.5PNASNet模型9

1.5.1组卷积10

1.5.2深度可分离卷积11

1.5.3空洞卷积12

1.6EfficientNet模型14

1.6.1MBConv卷积块15

1.6.2DropConnect层16

1.7实例：使用预训练模型识别图片内容16

1.7.1了解torchvision库中的预训练模型16

1.7.2代码实现：下载并加载预训练模型17

1.7.3代码实现：加载标签并对输入数据进行预处理18

1.7.4代码实现：使用模型进行预测19

1.7.5代码实现：预测结果可视化20

1.8实例：使用迁移学习识别多种鸟类21

1.8.1什么是迁移学习21

1.8.2样本介绍：鸟类数据集CUB-20022

1.8.3代码实现：用torch.utils.data接口封装数据集22

1.8.4代码实现：获取并改造ResNet模型27

1.8.5代码实现：微调模型后一层28

1.8.6代码实现：使用退化学习率对 模型进行全局微调29

1.8.7扩展实例：使用随机数据增强方法训练模型30

1.8.8扩展：分类模型中常用的3种损失函数31

1.8.9扩展实例：样本均衡31

1.9从深度卷积模型中提取视觉特征33

1.9.1使用钩子函数的方式提取视觉特征33

1.9.2使用重组结构的方式提取视觉特征34

第2章 机器视觉的高级应用37

2.1基于图片内容的处理任务38

2.1.1目标检测任务38

2.1.2图片分割任务38

2.1.3非极大值抑制算法39

2.1.4Mask R-CNN模型39

2.2实例：使用Mask R-CNN模型进行目标检测与语义分割41

2.2.1代码实现：了解PyTorch中目标检测的内置模型41

2.2.2代码实现：使用PyTorch中目标检测的内置模型42

2.2.3扩展实例：使用内置的预训练模型进行语义分割43

2.3基于视频内容的处理任务47

2.4实例：用GaitSet模型分析人走路的姿态，并进行身份识别47

2.4.1步态识别的做法和思路47

2.4.2GaitSet模型48

2.4.3多层全流程管线50

2.4.4水平金字塔池化51

2.4.5三元损失52

2.4.6样本介绍：CASIA-B数据集53

2.4.7代码实现：用torch.utils.data接口封装数据集54

2.4.8代码实现：用torch.utils.data.sampler类创建含多标签批次数据的采样器60

2.4.9代码实现：搭建GaitSet模型64

2.4.10代码实现：自定义三元损失类67

2.4.11代码实现：训练模型并保存模型权重文件69

2.4.12代码实现：测试模型72

2.4.13扩展实例：用深度卷积和池化 优化模型77

2.4.14扩展实例：视频采样并提取 轮廓78

2.4.15步态识别模型的局限性79

2.5调试技巧79

2.5.1解决显存过满损失值为0问题80

2.5.2跟踪PyTorch显存并查找显存泄露点81

第3章 自然语言处理的相关应用83

3.1BERT模型与NLP任务的发展阶段84

3.1.1基础的神经网络阶段84

3.1.2BERTology阶段84

3.2NLP中的常见任务84

3.2.1基于文章处理的任务85

3.2.2基于句子处理的任务85

3.2.3基于句子中词的处理任务86

3.3实例：训练中文词向量87

3.3.1CBOW和Skip-Gram模型87

3.3.2代码实现：样本预处理并生成字典88

3.3.3代码实现：按照Skip-Gram模型的规则制作数据集90

3.3.4代码实现：搭建模型并进行 训练92

3.3.5夹角余弦95

3.3.6代码实现：词嵌入可视化96

3.3.7词向量的应用97

3.4常用文本处理工具98

3.4.1spaCy库的介绍和安装98

3.4.2与PyTorch深度结合的文本 处理库torchtext99

3.4.3torchtext库及其内置数据集与 调用库的安装99

3.4.4torchtext库中的内置预训练词 向量100

3.5实例：用TextCNN模型分析评论者是否满意100

3.5.1了解用于文本分类的卷积神经网络模型——TextCNN101

3.5.2样本介绍：了解电影评论 数据集IMDB102

3.5.3代码实现：引入基础库102

3.5.4代码实现：用torchtext加载IMDB并拆分为数据集103

3.5.5代码实现：加载预训练词向量并进行样本数据转化105

3.5.6代码实现：定义带有Mish激活 函数的TextCNN模型107

3.5.7代码实现：用数据集参数实例化 模型109

3.5.8代码实现：用预训练词向量 初始化模型109

3.5.9代码实现：用Ranger优化器训练模型109

3.5.10代码实现：使用模型进行预测112

3.6了解Transformers库113

3.6.1Transformers库的定义113

3.6.2Transformers库的安装方法114

3.6.3查看Transformers库的版本信息115

3.6.4Transformers库的3层应用 结构115

3.7实例： 使用Transformers库的管道方式完成多种NLP任务116

3.7.1在管道方式中指定NLP任务116

3.7.2代码实现：完成文本分类任务117

3.7.3代码实现：完成特征提取任务119

3.7.4代码实现：完成完形填空任务120

3.7.5代码实现：完成阅读理解任务121

3.7.6代码实现：完成摘要生成任务123

3.7.7预训练模型文件的组成及其加载时的固定文件名称124

3.7.8代码实现：完成实体词识别任务124

3.7.9管道方式的工作原理125

3.7.10在管道方式中加载指定 模型127

3.8Transformers库中的AutoModel类128

3.8.1各种AutoModel类128

3.8.2AutoModel类的模型加载机制129

3.8.3Transformers库中更多的预训练 模型130

3.9Transformers库中的BERTology系列模型131

3.9.1Transformers库的文件结构131

3.9.2查找Transformers库中可以使用的模型135

3.9.3实例：用BERT模型实现完形填空任务136

3.9.4扩展实例：用AutoModelWithMHead类 替换BertForMaskedLM类138

3.10Transformers库中的词表工具139

3.10.1PreTrainedTokenizer类中的 特殊词139

3.10.2PreTrainedTokenizer类的 特殊词使用140

3.10.3向PreTrainedTokenizer类中 添加词144

3.10.4实例：用手动加载GPT-2模型 权重的方式将句子补充完整145

3.10.5子词的拆分148

3.11BERTology系列模型149

3.11.1Transformer之前的主流模型149

3.11.2Transformer模型151

3.11.3BERT模型153

3.11.4GPT-2模型157

3.11.5Transformer-XL模型157

3.11.6XLNet模型158

3.11.7XLNet模型与AE模型和AR模型间的关系161

3.11.8RoBERTa模型161

3.11.9SpanBERT模型162

3.11.10ELECTRA模型162

3.11.11T5模型163

3.11.12ALBERT模型164

3.11.13DistillBERT模型与知识蒸馏166

3.12实例： 用迁移学习训练BERT模型来对中文分类167

3.12.1样本介绍167

3.12.2代码实现：构建数据集168

3.12.3代码实现：构建并加载BERT预训练模型169

3.12.4BERT模型类的内部逻辑170

3.12.5代码实现：用退化学习率训练模型172

3.12.6扩展：更多的中文预训练模型175

3.13实例：用R-GCN模型理解文本中的代词175

3.13.1代词数据集175

3.13.2R-GCN模型的原理与实现176

3.13.3将GAP数据集转化成图结构数据的思路179

3.13.4代码实现：用BERT模型提取代词特征181

3.13.5代码实现：用BERT模型提取 其他词特征183

3.13.6用spaCy工具对句子依存 分析185

3.13.7代码实现：使用spaCy和批次 图方法构建图数据集187

3.13.8代码实现：搭建多层R-GCN模型192

3.13.9代码实现：搭建神经网络 分类层193

3.13.10使用5折交叉验证方法训练 模型196

第4章 神经网络的可解释性197

4.1了解模型解释库198

4.1.1了解Captum工具198

4.1.2可视化可解释性工具Captum Insights198

4.2实例：用可解释性理解数值分析神经网络模型199

4.2.1代码实现：载入模型199

4.2.2代码实现：用梯度积分算法分析模型的敏感属性200

4.2.3代码实现：用Layer Conductance方法查看单个网络层中的神经元202

4.2.4代码实现：用Neuron Conductance方法查看每个神经元所关注的属性204

4.3实例：用可解释性理解NLP相关的神经网络模型205

4.3.1词嵌入模型的可解释性方法205

4.3.2代码实现：载入模型类并将其处理 过程拆开206

4.3.3代码实现：实例化并加载模型权重，提取模型的词嵌入层207

4.3.4代码实现：用梯度积分算法计算模型的可解释性208

4.3.5代码实现：输出模型可解释性的可视化图像210

4.4实例：用Bertviz工具可视化BERT模型权重211

4.4.1什么是Bertviz工具212

4.4.2代码实现：载入BERT模型并可视化其权重212

4.4.3解读BERT模型的权重可视化结果216

4.5实例：用可解释性理解图像处理相关的神经网络模型219

4.5.1代码实现：载入模型并进行图像分类219

4.5.2代码实现：用4种可解释性算法对模型进行可解释性计算220

4.5.3代码实现：可视化模型的4种可解释性算法结果221

4.6实例：用可解释性理解图片分类相关的神经网络模型222

4.6.1了解Grad-CAM方法223

4.6.2代码实现：加载ResNet18模型并注册钩子函数提取特征数据225

4.6.3代码实现：调用模型提取中间层特征数据和输出层权重226

4.6.4代码实现：可视化模型的识别区域227

第5章 识别未知分类的方法——零次 学习229

5.1了解零次学习230

5.1.1零次学习的思想与原理230

5.1.2与零次学习有关的常用数据集232

5.1.3零次学习的基本做法233

5.1.4直推式学习233

5.1.5泛化的零次学习任务233

5.2零次学习中的常见问题233

5.2.1领域漂移问题234

5.2.2原型稀疏性问题235

5.2.3语义间隔问题235

5.3带有视觉结构约束的VSC模型236

5.3.1分类模型中视觉特征的本质236

5.3.2VSC模型的原理237

5.3.3基于视觉中心点学习的约束方法238

5.3.4基于倒角距离的视觉结构约束方法239

5.3.5什么是对称的倒角距离239

5.3.6基于二分匹配的视觉结构约束方法239

5.3.7什么是指派问题与耦合矩阵240

5.3.8基于W距离的视觉结构约束方法240

5.3.9什么是传输241

5.3.10什么是传输中的熵 正则化242

5.4详解Sinkhorn算法244

5.4.1Sinkhorn算法的求解转换244

5.4.2Sinkhorn算法的原理245

5.4.3Sinkhorn算法中参数ε的 原理246

5.4.4举例Sinkhorn算法过程246

5.4.5Sinkhorn算法中的质量守恒248

5.4.6Sinkhorn算法的代码实现250

5.5实例：使用VSC模型来识别未知类别的鸟类图片252

5.5.1样本介绍：用于ZSL任务的鸟类数据集252

5.5.2代码实现：用迁移学习的方式获得 训练数据集分类模型253

5.5.3使用分类模型提取图片视觉 特征254

5.5.4代码实现：用多层图卷积神经 网络实现VSC模型255

5.5.5代码实现：基于W距离的损失 函数256

5.5.6加载数据并进行训练257

5.5.7代码实现：根据特征距离对图片 进行分类258

5.6针对零次学习的性能分析259

5.6.1分析视觉特征的质量259

5.6.2分析直推式学习的效果260

5.6.3分析直推模型的能力261

5.6.4分析未知类别的聚类效果262

5.6.5清洗测试集263

5.6.6利用可视化方法进行辅助分析264

第6章 异构图神经网络267

6.1异构图的基础知识268

6.1.1同构图与异构图268

6.1.2什么是异构图神经网络268

6.1.3二分图268

6.1.4局部图卷积270

6.2二分图的实现方式270

6.2.1用NetworkX实现二分图270

6.2.2使用DGL构建二分图272

6.2.3二分图对象的调试技巧275

6.3异构图的实现方式276

6.3.1创建异构图276

6.3.2设置异构图的节点个数277

6.3.3异构图结构的查看方式278

6.3.4异构图与同构图的相互转化280

6.3.5异构图与同构图的属性操作方式281

6.4随机行走采样282

6.4.1什么是随机行走283

6.4.2普通随机行走283

6.4.3带停止概率的随机行走284

6.4.4带路径概率的随机行走284

6.4.5基于原图的随机行走285

6.4.6在基于异构图的随机行走中设置停止概率286

6.4.7基于随机行走采样的数据处理287

6.4.8以随机行走的方式对邻居节点采样287

6.5DGL库中的块图结构289

6.5.1设计块图的动机289

6.5.2将同构图转化成块图290

6.5.3块图的属性操作290

6.5.4将二分图转化成块图291

6.6实例：使用PinSAGE模型搭建推荐系统292

6.6.1准备MoiveLens数据集292

6.6.2代码实现：用Panadas库加载数据293

6.6.3Categories与category类型294

6.6.4代码实现：生成异构图295

6.6.5代码实现：用边分组方法拆分并保存数据集296

6.6.6PinSAGE模型299

6.6.7代码实现：构建带有邻居节点采样功能的数据加载器300

6.6.8代码实现：PinSAGE模型的采样 过程305

6.6.9代码实现：搭建PinSAGE模型309

6.6.10代码实现：实例化PinSAGE模型类并进行训练315

6.6.11代码实现：用PinSAGE模型为 用户推荐电影315

6.6.12扩展：在PinSAGE模型中融合 更多的特征数据317

6.7总结317

1