全新正版机器学统:设计和实现9787302630074清华大学出版社

目 录 基础篇 章 导论 003 1.1 机器学习应用 003 1.2 机器学习框架的设计目标 004 1.3 机器学习框架的基本组成原理 005 1.4 机器学统生态 006 1.5 本书结构和读者对象 007 第2章 编程模型 009 2.1 机器学统编程模型的演进 009 2.2 机器学习工作流 011 2.2.1 环境配置 011 2.2.2 数据处理 012 2.. 模型定义 013 2.2.4 损失函数和优化器 014 2.2.5 训练及保存模型 015 2.2.6 测试和验 016 . 定义深度神经网络 017 ..1 以层为核心定义神经网络 017 ..2 神经网络层的实现原理 021 .. 自定义神经网络层 022 ..4 自定义神经网络模型 0 2.4 C/C++编程接口 024 2.4.1 在Python中调用C/C++函数的原理 025 2.4.2 添加C++编写的自定义算子 025 2.5 机器学习框架的编程范式 030 2.5.1 机器学习框架编程需求 030 2.5.2 机器学习框架编程范式现状 030 2.5.3 函数式编程案例 031 2.6 总结 032 2.7 拓展阅读 03 第章 计算图 033 3.1 设计背景和作用 033 3.2 计算图的基本构成 034 3.2.1 张量和算子 035 3.2.2 计算依赖 037 3.. 控制流 038 3.2.4 基于链式法则计算梯度 041 3.3 计算图的生成 043 3.3.1 静态生成 043 3.3.2 动态生成 046 3.3.3 动态图和静态图生成的比较 048 3.3.4 动态图与静态图的转换和融合 043.计算图的调度 051 3.4.1 算子调度执行 051 3.4.2 串行与并行 05 .4.3 数据载入同步与异步机制 053 3.5 总结 054 3.6 拓展阅读 055 进阶篇 第4章 AI 编译器和前端技术 05.1AI编译器设计原理 05.2AI编译器前端技术概述 061 4.3 中间表示 062 4.3.1 中间表示的基本概念 062 4.3.2 中间表示的种类 063 4.3.3 机器学习框架的中间表示 065 4.4 自动微分 072 4.4.1 自动微分的基本概念 072 4.4.2 前向与反向自动微分 074 4.4.3 自动微分的实现 077 4.5 类型系统和静态分析 081 4.5.1 类型系统概述 081 4.5.2 静态分析概述 082 4.6 常见前端编译优化方法 083 4.6.1 前端编译优化简介 083 4.6.2 常见编译优化方法介绍及实现 083 4.7 总结 085 第5章 AI 编译器后端和运行时 086 5.1 概述 086 5.2 计算图优化 088 5.2.1 通用硬件优化 088 5.2.2 特定硬件优化 090 5.3 算子选择 091 5.3.1 算子选择的基础概念 091 5.3.2 算子选择的过程 095 5.4 内存分配 095 5.4.1 Device内存概念 096 5.4.2 内存分配 096 5.4.3 内存复用 098 5.4.4 常见的内存分配优化手段 099 5.5 计算调度与执行 101 5.5.1 单算子调度 101 5.5.2 计算图调度 102 5.5.3 交互式执行 106 5.5.4 下沉式执行 110 5.6 算子编译器 110 5.6.1 算子调度策略 111 5.6.2 子策略组合优化 112 5.6.3 调度空间算法优化 114 5.6.4 芯片指令集适配 115 5.6.5 算子表达能力 116 5.6.6 相关编译优化技术 117 5.7 总结 117 5.8 拓展阅读 118 第6章 硬件加速器 119 6.1 概述 119 6.1.1 硬件加速器设计的意义 119 6.1.2 硬件加速器设计的思路 119 6.2 硬件加速器基本组成原理 120 6.2.1 硬件加速器的架构 120 6.2.2 硬件加速器的存储单元 121 6.. 硬件加速器的计算单元 122 6.2.4 DS芯架构 124 6.3 加速器基本编程原理 125 6.3.1 硬件加速器的可编程 125 6.3.2 硬件加速器的多样化编程方法 128 6.4 加速器实践 132 6.4.1 环境 132 6.4.2 广义矩阵乘法的朴素实现 133 6.4.3 提高计算强度 135 6.4.4 使用共享内存缓存复用数据 138 6.4.5 减少寄存器使用 136..6隐藏共享内存读取延迟 140 6.4.7 隐藏全局内存读取延迟 141 6.4.8 与cuBLAS对比 142 6.4.9 小结 143 6.5 总结 143 6.6 拓展阅读 144 第7章 数据处理 145 7.1 概述 146 7.1.1 易用 146 7.1.2 高效 147 7.1.3 保序 147 7.2 易用设计 147 7.2.1 编程抽象与接口 147 7.2.2 自定义算子支持 151 7.3 高效设计 153 7.3.1 数据读取的高效 154 7.3.2 数据计算的高效 157 7.4 保序设计 162 7.5 单机数据处理能的扩展 163 7.5.1 基于异构算的据预处理 163 7.5.2 基于分布式的数据预处理 165 7.6 总结 166 第8章 模型部署 168 8.1 概述 168 8.2 训练模型到推理模型的转换及优化 169 8.2.1 模型转换 169 8.2.2 算子融合 170 8.. 算子替换 172 8.2.4 算子重排 173 8.3 模型压缩 173 8.3.1 量化 174 8.3.2 模型稀疏 176 8.3.3 知识蒸馏 178 8.4 模型推理 178..1前处理与后处理 178..2并行计算 180 8.4.3 算子优化 181 8.5 模型的安全保护 186 8.5.1 概述 186 8.5.2 模型混淆 186 8.6 总结 188 8.7 拓展阅读 189 第9章 分布式训练 190 9.1 设计概述 190 9.1.1 设计动机 190 9.1.2 系统架构 191 9.1.3 用户益处 192 9.2 实现方法 192 9.2.1 方法分类 192 9.2.2 数据并行 194 9.. 模型并行 194 9.2.4 混合并行 197 9.3 流水线并行 197 9.4 机器学习集群架构 198 9.5 集合通信 200 9.5.1 常见集合通信算子 200 9.5.2 基于AllReduce的梯度平均算法 203 9.5.3 集合通信算法能分析 205 9.5.4 利用集合通信优化模型训练的实践 206 9.5.5 集合通信在数据并行的实践 207 9.5.6 集合通信在混合并行的实践 208 9.6 参数服务器 210 9.6.1 系统架构 210 9.6.2 异步训练 211 9.6.3 数据副本 212 9.7 总结 212 9.8 拓展阅读 213 拓展篇 0章 联邦学统 217 10.1 概述 217 10.1.1 定义 217 10.1.2 应用场景 217 10.1.3 部署场景 218 10.1.4 常用框架 218 10.2 横向联邦学习 219 10.2.1 云云场景中的横向联邦 219 10.2.2 端云场景中的横向联邦 220 10.3 纵向联邦学习 222 10.3.1 纵向联邦架构 222 10.3.2 样本对齐 2 10.3.3 联合训练 224 10.4 隐私加密算法 225 10.4.1 基于LDP算法的安全聚合 226 10.4.2 基于MPC算法的安全聚合 226 10.4.3 基于LDP-SignDS算法的安全聚合 227 10.5 展望 229 10.5.1 异构场景下的联邦学习 229 10.5.2 通信效率提升 0 10.5.3 联邦生态 0 10.6 总结 1 1章 系统 2 11.1 系统基本组成 2 11.1.1 消息队列 11.1.2 特征存储 11.1.3 稠密神经网络 4 11.1.4 嵌入表 4 11.1.5 训练服务器 5 11.1.6 参数服务器 5 11.1.7 推理服务器 11.2 多阶段系统 11.2.1 流水线概述 11.2.2 召回 11.. 排序 11.3 模型更新 241 11.3.1 持续更新模型的需求 241 11.3.2 离线更新 242 11.4 案例分析：支持在线模型更新的大型系统 243 11.4.1 系统设计挑战 244 11.4.2 系统架构 245 11.4.3 点对点模型更新传播算法 246 11.4.4 模型更新调度器 247 11.4.5 模型状态管理器 248 11.4.6 小结 249 11.5 总结 249 11.6 扩展阅读 250 2章 强化学统 251 12.1 强化学习介绍 251 12.2 单节点强化学统 252 1. 分布式强化学统 255 12.4 多智能体强化学习 257 12.5 多智能体强化学统 260 12.6 总结 264 3章 可解释AI 系统 265 13.1 背景 265 13.2 可解释AI定义 266 13.3 可解释AI算法现状介绍 267 13.3.1 数据驱动的解释 267 13.3.2 知识感知的解释 270 13.4 常见可解释AI系统 272 13.5 案例分析：MindSpore XAI 273 13.5.1 为图片分类场景提供解释 273 13.5.2 为表格数据场景提供解释 275 13.5.3 白盒模型 276 13.6 未来研究方向 277 13.7 总结 277 4章 机器人系统 278 14.1 机器人系统概述 278 14.1.1 感知系统 271.1.2 规划系统 280 14.1.3 控制系统 281 14.1.4 机器人安全 282 14.2 机器人操作系统 283 14.2.1 ROS2节点 285 14.2.2 ROS2主题 285 14.. ROS2服务 286 14.2.4 ROS2参数 286 14.2.5 ROS2动作 286 14.3 案例分析：使用机器人操作系统 287 14.3.1 创建节点 290 14.3.2 读取参数 296 14.3.3 服务端-客户端服务模式 298 14.3.4 客户端 301 14.3.5 动作模式 303 14.3.6 动作客户端 305 14.4 总结 308 参考文献 309

麦络 爱丁堡大学信息学院理教授，博士生导师。2018年于帝国理工学院获得博士，谷歌博士奖学金获得者。主要研究方向为分布式系统、机器学习和数据管理，当前研究工作专注于构建大规模、自适应和可信的机器学统，受到谷歌、微软、华为、腾讯和等多家知名科技公司的资。在计算机很好会议OSDI、NSDI、USENIX ATC、CoNEXT、VLDB、ECCV和NeurIPS发表多篇。获得CoNEXT会议很好入围奖，ACM Multimedia 2017很好开源奖。 董豪 北京大学计算机学院理教授，博士生导师，2019年于帝国理工获得博士。主要研究方向为计算机视觉、机器人和具身智能，当前研究工作围绕智能机器人的自主决策与泛化交互。担任CVPR 20领域、AAAI 20高级程序委员、中国科技核心期刊Machine Intelligence Research副编委等，在NeurIPS、ICLR、ICCV、ECCV、IROS等很好国际会议和期刊发表30余篇，Deep Reinforcement Learning：Fundamentals, Research and Applications作者。获得ACM MM很好开源软件奖，新一代人工智能产业技术创新战略联盟 OpenI 启智社区开源项目、Springer Nature中国作者高影响力研究精选等。

本书系统地介绍了机器学统的设计原则和实践经验，侧重于介绍机器学习的原理、神经网络和优化器、自动差分算法、机器学统编程模型、控制流和数据流，异构硬件加速器的原理和编程、数据流图编译器前端、数据流图编译器后端、数据准备和、模型部署相关技术、分布式训练、弹训练、联合训练和评估平台、调试和优化工具、数据隐私和安全等。在讲授的过程中，本书将根据MindSpore的自身特点，在各个章节突出讨论MindSpore的优势点，从而将MindSpore并列为与TensorFlow，PyTorch的三大框架。

本书分为三大部分。基础篇覆盖机器学习框架使用者所需要了解的核心系统知识和相关编程案例；进阶篇覆盖了机器学习框架开发着所需要理解的核心知识和相关实践案例；拓展篇详细讨论了多种类的机器学统，从而为广大机器学习从业者提供解密底层系统所需的基础知识。