正版新书]大规模图神经网络:并行和分布式技术邵蓥侠 崔斌 等

前言<br /><br />第 1 章 引言　　　　　1<br />1.1 图神经网络　　　 2<br />1.1.1 什么是图神经网络　　2<br />1.1.2 图神经网络的发展历史　 4<br />1.1.3 图神经网络的现状　　6<br />1.2 大规模图神经网络　　 7<br />1.2.1 大规模图神经网络的缘由　8<br />1.2.2 大规模图神经网络与分布式训练　　　　9<br />1.2.3 分布式图神经网络的困难与挑战　　　 10<br />1.3 本书组织　　　　11<br />参考文献　　　　 12<br /><br />第 2 章 图神经网络模型　　 16<br />2.1 图的表示　　　　16<br />2.2 图神经网络的表示　　 17<br />2.3 典型的图神经网络模型 18<br />2.3.1 门控图序列神经网络　 19<br />2.3.2 图卷积神经网络　 20<br />2.3.3 图注意力网络　 23<br />2.3.4 生成式图神经网络模型　25<br />2.4 图神经网络的应用　　 28<br />2.4.1 社交网络　　　29<br />2.4.2 生物与医疗　　29<br />2.4.3 金融与风控　　30<br />2.4.4 物理领域　　　31<br />2.4.5 交通领域　　　31<br />2.4.6 推荐系统　　　32<br />2.5 小结　　　　 32<br />参考文献　　　　 32<br /><br />第 3 章 分布式并行机器学习　　37<br />3.1 机器学习的基础知识　　38<br />3.1.1 基本概念　　　38<br />3.1.2 模型训练　　　38<br />3.1.3 反向传播算法　 42<br />3.1.4 梯度下降算法　 45<br />3.2 分布式并行机器学习的流程　47<br />3.3 分布式并行机器学习的训练模式　　　　 48<br />3.3.1 数据并行　　　49<br />3.3.2 模型并行　　　50<br />3.3.3 流水并行　　　51<br />3.3.4 张量并行　　　53<br />3.3.5 混合专家并行　 58<br />3.3.6 完全分片的数据并行　 60<br />3.4 分布式并行机器学习的训练架构　　　　 62<br />3.4.1 分布式训练架构　 62<br />3.4.2 模型更新策略　 66<br />3.5 分布式并行机器学习的物理架构　　　　 68<br />3.5.1 单机多卡分布式并行训练环境　　　 68<br />3.5.2 多机集群分布式并行训练环境　　　 69<br />3.6 小结　　　　 70<br />参考文献　　　　 71<br /><br />第 4 章 分布式并行图神经网络训练　75<br />4.1 图神经网络训练的基本流程　76<br />4.1.1 全图训练　　　76<br />4.1.2 小批次训练　　78<br />4.2 图神经网络与深度神经网络的比较　　　　81<br />4.3 分布式并行图神经网络训练82<br />4.3.1 小批次分布式并行图神经网络训练　　　83<br />4.3.2 全图分布式并行图神经网络训练　　　84<br />4.4 小结　　　　 85<br />参考文献　　　　 85<br /><br />第 5 章 小批次分布式并行图神经网络训练与优化　　　 87<br />5.1 朴素的小批次分布式并行训练　　　　 87<br />5.1.1 训练流程　　　87<br />5.1.2 问题与不足　　88<br />5.2 执行引擎优化　　　90<br />5.2.1 小批次间的算子并行训练 90<br />5.2.2 推拉混合的并行训练　 93<br />5.2.3 基于历史嵌入的并行训练 95<br />5.2.4 基于计算分解的数据并行训练　　　 99<br />5.3 图采样及其优化　　 102<br />5.3.1 基本的图采样方法 102<br />5.3.2 分布式图采样方法 103<br />5.4 数据缓存优化技术　　106<br />5.5 通信机制及优化　　 107<br />5.5.1 集合通信　　　107<br />5.5.2 集合通信的死锁问题 108<br />5.5.3 通信链路优化　　109<br />5.6 小结　　　　116<br />参考文献　　　　 116<br /><br />第 6 章 全图分布式并行图神经网络训练与优化　　 121<br />6.1 全图分布式图神经网络训练基本并行方法　　　122<br />6.1.1 子图并行的全图分布式训练　　　122<br />6.1.2 算子并行的全图分布式训练　　　124<br />6.1.3 子图并行与算子并行对比　　　 129<br />6.1.4 全图分布式并行图神经网络训练的效率瓶颈 129<br />6.2 基于同步模型计算的效率优化　　　 130<br />6.2.1 图划分策略　　 130<br />6.2.2 预聚合执行模式　135<br />6.2.3 高效的同步通信协议 138<br />6.3 基于异步模型计算的通信优化　　　 140<br />6.3.1 异步执行模型　　141<br />6.3.2 异步图神经网络训练通信协议　　　 142<br />6.4 小结　　　　144<br />参考文献　　　　 145<br /><br />第 7 章 大规模图神经网络系统　 150<br />7.1 图神经网络编程模型　　151<br />7.1.1 以张量为中心的编程模型　　　 151<br />7.1.2 以全图为中心的编程模型　　　 151<br />7.1.3 以节点为中心的编程模型　　　 154<br />7.2 图神经网络系统与图计算　154<br />7.3 面向单机多 GPU 的图神经网络系统　　　 155<br />7.4 面向 GPU 集群的图神经网络系统　　　　157<br />7.5 面向 CPU 集群的图神经网络系统　　　　159<br />7.6 面向其他硬件平台的图神经网络系统　　　 161<br />7.7 图神经网络系统的对比与选择　　　 162<br />7.7.1 硬件设备　　　162<br />7.7.2 模型训练方法　　164<br />7.7.3 模型更新策略　　164<br />7.8 小结　　　　165<br />参考文献　　　　 166<br /><br />第 8 章 大规模图神经网络编程实践　　　　 170<br />8.1 基于 DGL 的训练环境配置　　　 171<br />8.2 单机单卡训练　　172<br />8.2.1 基本训练流程　　172<br />8.2.2 简单的图神经网络训练案例　　　 173<br />8.2.3 基于小批次的图神经网络训练案例　　 177<br />8.3 分布式并行训练　　 180<br />8.3.1 数据集的预处理　181<br />8.3.2 分布式数据通信接口 183<br />8.3.3 单机多 GPU 的训练　 190<br />8.3.4 基于集群的训练　208<br />8.4 小结　　　　214<br />参考文献　　　　 214<br /><br />第 9 章 总结与展望　　　 216<br /><br />参考文献　　　　 218<br />

邵蓥侠，北京邮电大学计算机学院教授，国家高层次青年人才，博士生导师。研究方向为图数据管理、大规模图计算、AI4Sys等。主持3项国家自然科学基金项目、1项科技创新2030“新一代人工智能”重大项目子课题以及多项CCF/CAAI产学研合作基金。在数据库和人工智能领域的著名会议和期刊已发表高质量学术论文70余篇，其中第一作者/通讯作者发表CCF-A类期刊和会议论文20余篇，出版英文学术专著1部；入选北京市科技新星，获北京市高等教育教学成果奖二等奖、ACM SIGMOD中国新星奖、数据库领域顶级国际会议VLDB 2022最佳常规研究论文奖、数据库领域重要国际会议DASFAA 2020最佳学生论文奖等。指导学生获全国大学生计算机系统能力大赛-（首届）数据库管理系统设计赛一等奖、第四届实时计算Flink挑战赛亚军；长期担任多个重要国际会议的程序委员和著名国际期刊的审稿人。

本书入选“十四五”国家重点出版物出版规划项目，2025国家出版基金项目。