正版 持久内存架构与工程实践 李志明,吴国安,李翔 等 电子工业出

目录

第1章 持久内存的需求 / 1
1.1 持久内存的产生 / 2
1.1.1 大数据发展对内存的需求 / 2
1.1.2 内存和存储间的性能鸿沟 / 5
1.1.3 持久内存的使用场景 / 7
1.2 非易失性存储介质 / 10
1.2.1 传统非易失性存储介质 / 10
1.2.2 新型非易失性存储介质 / 11
1.2.3 非易失性存储介质主要特性比较 / 14
1.3 持久内存模块 / 15
1.3.1 持久内存的JEDEC标准分类 / 15
1.3.2 Intel傲腾持久内存 / 16
参考文献 / 18

第2章 持久内存的架构 / 19
2.1 内存数据持久化 / 20
2.1.1 数据持久化 / 20
2.1.2 持久化域 / 21
2.1.3 异步内存刷新技术 / 23
2.2 持久内存硬件架构 / 25
2.2.1 持久内存的硬件模块 / 25
2.2.2 持久内存的外部接口 / 27
2.3 持久内存及主机端的固件架构 / 30
2.3.1 接口规范 / 30
2.3.2 持久内存固件 / 34
2.3.3 主机端固件 / 34
2.4 持久内存的安全考虑 / 37
2.4.1 威胁模型 / 37
2.4.2 安全目标 / 38
2.4.3 基于硬件的内存加密 / 40
2.5 持久内存的可靠性、可用性和可维护性 / 40
2.5.1 可靠性、可用性和可维护性定义 / 40
2.5.2 硬件基础 / 41
2.5.3 错误检测和恢复 / 42
2.5.4 单芯片数据纠正和双芯片数据纠正 / 43
2.5.5 巡检 / 43
2.5.6 地址区间检查 / 44
2.5.7 病毒模式 / 45
2.5.8 错误报告和记录 / 45
2.5.9 持久内存故障隔离 / 45
2.5.10 错误注入 / 46
2.6 持久内存的管理 / 47
2.6.1 带内管理和带外管理 / 47
2.6.2 温度管理 / 51
2.7 持久内存的性能 / 53
2.7.1 空闲读取延时 / 53
2.7.2 带宽 / 53
2.7.3 访问粒度 / 53
2.7.4 加载读取延时 / 54
2.7.5 应用性能 / 56

第3章 操作系统实现 / 59
3.1 Linux持久内存内核驱动实现 / 60
3.1.1 操作系统驱动及实现 / 60
3.1.2 固件接口表 / 61
3.1.3 驱动框架 / 61
3.1.4 块设备接口实现 / 63
3.1.5 字符设备接口实现 / 66
3.1.6 NUMA节点接口实现 / 67
3.1.7 持久内存的RAS适配 / 70
3.2 Linux持久内存虚拟化实现 / 71
3.2.1 持久内存虚拟化实现 / 71
3.2.2 使用配置方法 / 77
3.2.3 性能优化指导 / 80
3.3 Windows持久内存驱动实现 / 82
3.3.1 持久内存支持概述 / 82
3.3.2 持久内存驱动框架解析 / 82
3.4 持久内存管理工具 / 83
3.4.1 持久内存的配置目标和命名空间 / 83
3.4.2 IPMCTL / 90
3.4.3 NDCTL / 94
3.4.4 Windows管理工具 / 97

第4章 持久内存的编程和开发库 / 98
4.1 持久内存SNIA编程模型 / 99
4.1.1 通用持久内存设备驱动 / 100
4.1.2 传统文件系统 / 100
4.1.3 持久内存感知文件系统 / 100
4.1.4 管理工具和管理界面 / 101
4.2 持久内存访问方式 / 101
4.2.1 持久内存访问方式 / 102
4.2.2 传统块访问方式 / 104
4.2.3 底层数据存取方式 / 105
4.3 持久内存编程的挑战 / 106
4.3.1 数据持久化 / 107
4.3.2 断电一致性 / 107
4.3.3 数据原子性 / 108
4.3.4 持久内存分配 / 109
4.3.5 位置独立性 / 109
4.4 PMDK编程库 / 110
4.4.1 libmemkind库 / 110
4.4.2 libpmem库 / 113
4.4.3 libpmemobj库 / 120
4.4.4 libpmeblk 和libpmemlog / 143
4.4.5 libpmemobj-cpp库介绍 / 143
4.5 持久内存和PMDK的应用 / 152
4.5.1 PMDK库的应用场景 / 152
4.5.2 pmemkv键值存储框架的介绍 / 153
4.5.3 PMDK在Redis持久化的应用 / 156
参考文献 / 162

第5章 持久内存性能优化 / 163
5.1 与持久内存相关的配置选项和性能特点 / 164
5.1.1 持久内存的常见配置选项与使用模式介绍 / 164
5.1.2 内存模式下的性能特点与适用业务的特征 / 164
5.1.3 AD模式下的性能特点与适用业务的特征 / 167
5.2 持久内存的相关性能评测与基础性能表现 / 170
5.2.1 不同持久内存配置与模式下的基础性能表现 / 170
5.2.2 内存模式下的典型业务场景 / 171
5.2.3 AD模式下的典型业务场景 / 172
5.3 常用性能优化方式与方法 / 173
5.3.1 平台配置优化 / 173
5.3.2 微架构选项优化 / 176
5.3.3 软件编程与数据管理策略的优化 / 181
5.4 性能监控与调优工具 / 183
5.4.1 Memory Latency Checker / 183
5.4.2 Performance Counter Monitor / 186
5.4.3 VTune Amplifier / 188

第6章 持久内存在数据库的应用 / 192
6.1 Redis概况 / 193
6.2 使用持久内存扩展Redis内存容量 / 194
6.2.1 使用持久内存扩展内存容量 / 195
6.2.2 使用NUMA节点扩展内存容量 / 196
6.2.3 使用AD模式扩展内存容量 / 198
6.3 使用持久内存的持久化特性提升Redis性能 / 200
6.3.1 使用AD模式实现RDB / 202
6.3.2 使用AD模式实现AOF / 204
6.4 RocksDB概述及性能特性 / 206
6.5 RocksDB的LSM索引树 / 208
6.6 利用持久内存优化RocksDB性能 / 211
6.6.1 RocksDB的性能瓶颈 / 217
6.6.2 持久内存优化RocksDB的方式和性能结果 / 219

第7章 持久内存在大数据的应用 / 234
7.1 持久内存在大数据分析和人工智能中的应用概述 / 235
7.2 持久内存在大数据计算方面的加速方案 / 235
7.2.1 持久内存在Spark SQL数据分析场景的应用 / 235
7.2.2 持久内存在MLlib机器学习场景的应用 / 241
7.2.3 Spark PMoF:基于持久内存和RDMA网络的高性能Spark Shuffle方案 / 247
7.3 持久内存在大数据存储中的应用 / 255
7.3.1 持久内存在HDFS缓存中的应用 / 255
7.3.2 持久内存在Alluxio缓存中的应用 / 260
7.4 持久内存在Analytics Zoo中的应用 / 264
7.4.1 Analytics Zoo简介 / 264
7.4.2 持久内存在Analytics Zoo中的具体应用 / 264
第8章 持久内存在其他领域的应用 / 267
8.1 持久内存的应用方式及可解决的问题 / 268
8.1.1 持久内存的应用方式 / 268
8.1.2 持久内存能够解决的问题 / 269

8.2 持久内存在推荐系统中的应用 / 270
8.2.1 推荐系统的主要组成 / 271
8.2.2 推荐系统的持久内存应用方法 / 272
8.2.3 推荐系统应用案例 / 272
8.3 持久内存在缓存系统的应用 / 277
8.3.1 缓存系统的分类和特点 / 277

8.3.2 缓存系统应用案例 / 280
8.4 持久内存在高性能计算中的应用 / 284
8.5 持久内存在虚拟云主机中的应用 / 285
8.6 持久内存的应用展望 / 286

李志明

英特尔数据中心集团平台架构师、首席工程师。长期从事服务器系统的硬件架构和设计开发工作，近年来致力于计算和存储技术在数据中心的应用，解决新兴业务挑战。毕业于上海交通大学电子工程系，拥有硕士学位。







吴国安

英特尔持久内存产品工程部经理，在IA架构、性能优化、软件协同硬件开发方面有多年工作经验。目前主要支持客户应用英特尔数据中心级持久内存，进行软件开发和应用适配，提供IA架构上的客户方案技术咨询和支持。在2012年加入英特尔之前，任职意法半导体负责数字电视软件开发和集成的工作。2005年硕士毕业于上海交通大学。







李翔

就职于英特尔数据中心部门，主要从事持久内存的研发与调试，深入参与持久内存初代产品的调试与验证及未来产品的设计与规划，对持久内存的架构与应用有深入的理解。硕士毕业于上海大学信号与信息处理专业，先后就职于华为、思科等科技公司从事产品研发与调试工作。







斯佩峰

英特尔数据中心集团资深软件工程师。长期从事x86服务器的固件开发和软件性能调优，目前专注于持久内存对数据库及存储类应用的优化。







杜凡

资深Linux内核工程师，有十余年的Linux内核开发、性能调优经验。现就职于英特尔，在持久内存方向深耕数年。熟知英特尔持久内存产品，对Linux内核NVDIMM和内存管理子系统有深入理解。深度参与持久内存在不同应用场景的调研与开发，积累了丰富的持久内存在互联网企业中应用经验。曾就职于WindRiver，负责网络协议加密产品的开发, 以及网络协议栈XFRM模块的社区维护工作。







束文辉

英特尔数据中心集团解决方案架构师，专注于大型云计算客户的业务性能特征化与至强平台与非易失性存储的功耗性能调优。具有云计算系统开发经验，熟悉大型IT及数据中心的管理与运维体系，如Web/DB、虚拟化、网络和存储等。毕业于南京大学软件工程系，拥有硕士学位。







徐铖

现就职于英特尔亚太研发有限公司开源技术部门，从事多年大数据技术研究和开发工作，目前主要专注于基于英特尔平台的大数据技术优化。积极的开源项目贡献者，是Apache Hive、Apache ORC和Apache Commons项目的Committer。







胡寅玮

长期从事软件开发和信息技术管理工作。现任英特尔数据中心事业部，云计算软件研发部门经理，致力于服务器产品的软件和固件研发、系统集成及性能优化。

解密数据中心级持久内存，拥抱下一代计算新范式，剖析内存-存储变革核心，集理论知识和实战经验于一体，计算存储一体化，推动算法升级，下—代AI系统的基石解密数据中心级持久内存，拥抱下一代计算新范式，剖析内存-存储变革核心，集理论知识和实战经验于一体，计算存储一体化，推动算法升级，下—代AI系统的基石全面介绍持久内存原理、设计与实现的系统性著作不可错过的下一代 AI 系统底层技术英特尔公司多位一线专家的理论知识结晶与经验总结剖析持久内存的开发、验证和应用等前沿工作囊括持久内存产生背景、技术分类、硬件和固件架构、编程模型和开发库、性能优化方法，以及在数据库及大数据等领域的应用英特尔内部数十年材料科学研究、半导体创新和制造专业知识的结晶

本书以工程实践为导向，详细阐述了持久内存的整体技术细节。本书对持久内存的硬件和固件架构、编程模型、优化方法等方面进行了深入剖析，并从架构选择、方案实施、性能调优几个方面，对数据库、大数据等场景进行了详细介绍，以帮助读者掌握持久内存应用。本书还对持久内存和内存计算的未来发展趋势进行了探讨，抛砖引玉，希望对业界人员在该领域的进一步创新有所帮助。

本书适合具有一定基础的计算机和软件行业从业者、研宄人员或高校师生阅读，尤其适合在行业内进行云计算的开发工程师学习，也适合相关领域的开发人员和科研人员参考。

"全面介绍持久内存原理、设计与实现的系统性著作 不可错过的下一代 AI 系统底层技术 英特尔公司多位一线专家的理论知识结晶与经验总结 剖析持久内存的开发、验证和应用等前沿工作 囊括持久内存产生背景、技术分类、硬件和固件架构、编程模型和开发库、性能优化方法，以及在数据库及大数据等领域的应用 英特尔内部数十年材料科学研究、半导体创新和制造专业知识的结晶"