数据存储架构与技术(第2版)

1. 作者为该领域的专家。主编舒继武教授为国家杰出青年基金获得者，“长江学者”特聘教授、IEEE Fellow。
2. 内容全面，知识体系完整。本书既包含存储基础理论，也包含学术界的前沿创新，通过新研究实例加深读者对相关基础知识的理解，参与编写者都是一直工作在存储学术界前沿，对技术有深入的把握和思考。
3. 本书包含业界的新经验。华为是数据存储的领头企业，本书包含华为在存储运维、存储解决方案等方面的先进思考。
4. 针对课程进行优化，适合高校、职业院校等存储类专业课程。第 1 章 数据存储的背景 001
1.1　数据存储的重要性　001
1.2　数据存储的目标　002
1.2.1　高性能　002
1.2.2　高易用性　003
1.2.3　高可靠性　004
1.2.4　其他目标　005
参考文献　005
第　2 章 存储盘与存储介质　007
2.1　磁盘　007
2.1.1　磁盘的组成与结构　008
2.1.2　磁盘性能　009
2.1.3　磁盘固件　011
2.2　SSD　014
2.2.1　闪存单元与结构　015
2.2.2　FTL　017
2.3　主存　020
2.3.1　DRAM 组成与结构　020
2.3.2　DRAM 刷新　023
2.3.3　内存控制器　024
2.3.4　非易失性存储器　024
2.4　其他存储介质　027
2.4.1　光存储　027
2.4.2　磁带　028
2.5　本章小结　028
2.6　思考题　029
参考文献　029
第　3 章 存储阵列　030
3.1　硬件架构　030
3.1.1　整机架构　031
3.1.2　控制器模块　031
3.1.3　接口模块　032
3.1.4　硬盘框和硬盘单元　033
3.1.5　散热模块　033
3.2　软件架构　034
3.2.1　RAID 子系统　034
3.2.2　缓存镜像子系统　040
3.3　高性能与高可靠性设计　042
3.3.1　应用场景　042
3.3.2　高可靠性冗余切换子系统　043
3.3.3　高性能集群子系统　045
3.3.4　重定向写与垃圾回收技术　047
3.4　本章小结　049
3.5　思考题　049
参考文献　049
第　4 章 存储协议　050
4.1　SCSI 协议　050
4.1.1　SCSI 协议概述　050
4.1.2　SCSI 服务模型　051
4.1.3　SCSI 指令集　053
4.1.4　SCSI 读写流程解析　053
4.2　SCSI 链路承载协议　054
4.2.1　SAS 协议　054
4.2.2　FC 协议　056
4.2.3　iSCSI 协议　057
4.3　NVMe 协议　059
4.3.1　NVMe 设备模型　059
4.3.2　NVMe 队列模型　060
4.3.3　NVMe 指令集　062
4.3.4　NVMe over PCI-e　062
4.4　NVMe over Fabrics　064
4.4.1　NVMe over RDMA　065
4.4.2　NVMe over TCP　067
4.4.3　NVMe over FC　068
4.5　内存互连协议　070
4.5.1　CXL 协议概述　071
4.5.2　CXL 类型 1　072
4.5.3　CXL 类型 2　073
4.5.4　CXL 类型 3　074
4.6　本章小结　074
4.7　思考题　075
参考文献　075
第　5 章 键值存储　077
5.1　基本操作　077
5.2　键值索引　078
5.2.1　散列索引　078
5.2.2　B+树索引　080
5.2.3　LSM 树索引　081
5.3　数据布局　085
5.3.1　原地更新的数据组织　085
5.3.2　日志结构的数据组织　085
5.4　崩溃一致性　086
5.4.1　WAL　086
5.4.2　影子页　087
5.5　本章小结　087
5.6　思考题　087
参考文献　088
第　6 章 文件系统　089
6.1　文件系统的基本操作　089
6.2　文件系统实现　090
6.2.1　一个简单的文件系统　091
6.2.2　命名空间管理　094
6.2.3　存储管理　095
6.3　文件系统实例：ext2　098
6.4　本章小结　100
6.5　思考题　100
参考文献　100
第　7 章 网络存储体系结构　101
7.1　DAS　101
7.2　NAS　102
7.2.1　架构特点　102
7.2.2　网络文件协议　103
7.2.3　应用场景　104
7.3　SAN　104
7.3.1　架构特点　104
7.3.2　核心组件　105
7.3.3　应用场景　106
7.3.4　NAS 与 SAN 对比　106
7.4　对象存储　106
7.4.1　架构特点　106
7.4.2　核心组件　107
7.5　并行存储　108
7.5.1　架构特点　108
7.5.2　关键技术　108
7.6　P2P 存储　109
7.6.1　架构特点　110
7.6.2　关键技术　110
7.6.3　应用场景　111
7.7　云存储　112
7.7.1　架构特点　113
7.7.2　应用场景　113
7.8　存储虚拟化　115
7.8.1　基本概念　115
7.8.2　关键技术　116
7.9　软件定义存储　117
7.9.1　基本概念　117
7.9.2　代表性系统　118
7.9.3　关键挑战　119
7.10　超融合架构　120
7.10.1　基本概念　120
7.10.2　关键技术　121
7.10.3　代表性系统　121
7.10.4　概念对比　122
7.11　本章小结　122
7.12　思考题　123
参考文献　123
第　8 章 分布式存储系统　125
8.1　分布式存储系统的典型架构　125
8.2　分布式存储系统的关键衡量指标　126
8.2.1　性能　126
8.2.2　可扩展性　126
8.2.3　一致性　126
8.2.4　可用性　128
8.3　分布式键值存储系统　128
8.3.1　典型分布式键值存储系统　129
8.3.2　分布式键值存储系统关键技术　132
8.4　分布式对象存储系统　134
8.4.1　典型分布式对象存储系统　134
8.4.2　分布式对象存储系统关键技术　138
8.5　分布式块存储系统　139
8.5.1　典型分布式块存储系统　139
8.5.2　分布式块存储系统关键技术　142
8.6　分布式文件系统　142
8.6.1　典型分布式文件系统　143
8.6.2　分布式文件系统关键技术　150
8.7　本章小结　151
8.8　思考题　151
参考文献　151
第　9 章 存储可靠性　153
9.1　存储可靠性概述　153
9.1.1　可靠性指标及其计算方法　153
9.1.2　可靠性分层设计　154
9.1.3　可靠性与可用性的区别　155
9.2　硬盘可靠性　155
9.2.1　硬盘出错特征分析　155
9.2.2　硬盘故障预警和监测　157
9.2.3　面向环境因素的硬盘可靠性设计　160
9.3　闪存介质可靠性　161
9.3.1　闪存介质错误源　161
9.3.2　闪存可靠性优化关键技术　163
9.4　纠删码技术　165
9.4.1　多副本原理　165
9.4.2　纠删码原理　165
9.4.3　典型的纠删码介绍及分析　168
9.4.4　纠删码技术发展趋势　176
9.5　分布式存储系统可靠性　180
9.5.1　数据冗余技术　180
9.5.2　故障恢复技术　181
9.5.3　数据一致性协议　181
9.5.4　负载均衡技术　182
9.6　本章小结　182
9.7　思考题　182
参考文献　183
第　10 章 存储安全　189
10.1　理念和安全体系　189
10.2　系统安全　190
10.2.1　硬件安全　190
10.2.2　容器安全　192
10.2.3　系统韧性　193
10.3　数据安全　194
10.3.1　数据加密　194
10.3.2　数据完整　196
10.3.3　权限管理　199
10.3.4　数据安全销毁　200
10.3.5　数据安全计算　201
10.4　安全管理　203
10.4.1　系统访问控制（认证管理）　203
10.4.2　用户身份和访问管理　206
10.4.3　证书管理和密钥管理　207
10.4.4　网络安全管理　211
10.5　本章小结　212
10.6　思考题　212
参考文献　213
第　11 章 数据保护　216
11.1　数据保护背景　216
11.1.1　数据保护标准　216
11.1.2　数据保护技术特点　218
11.2　数据保护技术　219
11.2.1　镜像　219
11.2.2　快照　222
11.2.3　克隆　223
11.3　数据保护场景　223
11.3.1　备份　224
11.3.2　归档　228
11.3.3　容灾　231
11.4　本章小结　240
11.5　思考题　240
参考文献　240
第　12 章 存储维护　242
12.1　概述　242
12.2　预防性维护　242
12.2.1　硬盘健康预测　243
12.2.2　容量趋势预测　244
12.2.3　性能异常检测　245
12.2.4　性能潮汐分析　245
12.3　纠正性维护　246
12.3.1　主动问题处理　246
12.3.2　升级　246
12.3.3　扩容　249
12.4　思考题　251
参考文献　252
第　13 章 存储解决方案　253
13.1　运营商行业解决方案　253
13.1.1　运营商大数据解决方案　253
13.1.2　运营商 BOM 域生产业务备份　255
13.2　政务融合存储资源池解决方案　257
13.2.1　场景需求　257
13.2.2　融合资源池解决方案　258
13.3　金融行业容灾解决方案　259
13.3.1　场景需求　259
13.3.2　容灾建设需求　260
13.3.3　两地三中心容灾解决方案　260
13.4　医疗行业解决方案　261
13.4.1　场景需求　261
13.4.2　PACS 影像系统存储解决方案　262
13.5　教育行业解决方案　262
13.5.1　场景需求　263
13.5.2　教育科研高性能计算和数据分析　263
13.6　思考题　264
参考文献　264
第　14 章 存储技术趋势与发展　265
14.1　闪存存储系统　265
14.1.1　OC SSD　266
14.1.2　ZNS SSD　267
14.2　存内计算　269
14.2.1　近存计算　270
14.2.2　存算一体化　270
14.3　持久性内存　272
14.3.1　文件系统　272
14.3.2　键值存储系统　273
14.3.3　分布式存储系统　275
14.4　在网存储　276
14.4.1　在网数据协调　276
14.4.2　在网数据调度　277
14.4.3　在网数据缓存　278
14.5　智能存储　278
14.5.1　AI for Storage　278
14.5.2　Storage for AI　280
14.6　边缘存储　282
14.6.1　边缘存储设备　283
14.6.2　边缘存储 I/O 栈　284
14.6.3　边缘数据组织与检索　284
14.7　区块链存储　285
14.7.1　区块链存储系统简介　286
14.7.2　区块链存储系统优化　286
14.8　分离式数据中心架构　287
14.8.1　背景　287
14.8.2　架构特点及关键技术　288
14.8.3　未来趋势　291
14.9　高密度新型存储　292
14.9.1　叠瓦式磁性存储　292
14.9.2　高密光存储　293
14.9.3　DNA 存储　293
14.10　本章小结　294
14.11　思考题　294
参考文献　295
缩略语表　301

......本书介绍数据存储架构与技术，涵盖存储盘与存储介质、存储阵列、存储协议、键值存储、文件系统、网络存储体系结构、分布式存储系统、存储可靠性、存储安全、数据保护等基础内容，对存储维护、存储解决方案、存储技术趋势与发展等主题进行了深入讨论，以新的研究成果作为案例，同时提供习题帮助读者加深对数据存储的理解与运用。
本书适合计算机及相关专业高年级本科生或研究生阅读、学习，同时也可供相关专业技术人员参考。......清华大学长聘教授，闽江学院院长，国家杰出青年基金获得者，“长江学者”特聘教授，IEEE Fellow，中国计算机学会(CCF)会士，兼任CCF理事、北京信息灾备技术产业联盟副理事长等，曾任CCF信息存储专委会主任。主要研究信息存储系统、智能存储系统、数据存储可靠性与安全等。担任“十五”国家863计划重大专项课题“新型网络服务器系统”的负责人、“十一五”国家863计划信息领域“海量存储系统关键技术”重大项目总体专家组副组长、“十二五”国家863计划信息领域“面向大数据的先进存储结构及关键技术”主题项目首席专家、“十三五”国家重点研发计划项目“TB级持久性内存存储技术与系统”的项目负责人。主持研制出海量存储网络系统TH-MSNS、软硬件协同闪存存储系统TH-SSS、分布式持久性内存存储系统TH-DPMS、智能存算一体系统TH-iSSD，成果发表在FAST、SOSPOSDI、USENIX ATC、EuroSys、ASPLOS、MICRO、ISCA、HPCA、SC、SIGMOD等重要会议和ACM/EEE Trans系列期刊。按CSRankings.org统计，近5年(2019-2023)在操作系统领域高水平会议(SOSP、OSDI、FAST、USENIX ATC.EuroSys)上发表的论文数居世界第二，获国家科学技术进步奖二等奖和国家技术发明奖二等奖各1次、省部级一等奖5次，获华为奥林帕斯奖等。

1