正版 Hadoop HDFS深度剖析与实践 祝江华 分布式系统 元数据 Block管理 节点间通信机制 集群拓展

商品名称：

Hadoop HDFS深度剖析与实践

作 者：

祝江华 编著

市 场 价：

９９.００ 元

ISBN 号：

978-7-111-72479-7

出版日期：

２０２３ 年 ５ 月第 １ 版第 １ 次印刷

页 数：

264

开 本：

16开（１８４ｍｍ×２４０ｍｍ１７ 印张４２８ 千字）

出 版 社：

机械工业出版社

第1篇 核心原理篇

第1章 HDFS历史延展/

    1.1 分布式与文件系统/

        1.1.1 分布式文件系统部署架构/

        1.1.2 系统性能的影响因素/

    1.2 HDFS设计及实现思想/

        1.2.1 HDFS发展历史/

        1.2.2 HDFS特性/

        1.2.3 HDFS服务视图/

        1.2.4 HDFS架构/

    1.3 小结/

第2章 元数据架构/

    2.1 内存Tree设计/

        2.1.1 Namenode介绍/

        2.1.2 Namenode启动/

        2.1.3 meta视图/

        2.1.4 FsDirectory和INodeMap/

        2.1.5 文件维护/

    2.2 FsImage和Edit Log/

        2.2.1 FsImage分析/

        2.2.2 Edit Log分析/

    2.3 meta更新/

        2.3.1 内存结构Update/

        2.3.2 拓展：锁优化/

    2.4 小结/

第3章 数据管理/

    3.1 Namespace/

        3.1.1 Namespace概况/

        3.1.2 Namenode与Namespace/

        3.1.3 DataNode与Namespace/

    3.2 Slave节点/

        3.2.1 Heartbeat机制/

        3.2.2 FsDataset和DataStorage/

        3.2.3 DataNode检查器/

        3.2.4 存储类型/

        3.2.5 拓展：NVDIMM/

    3.3 Topology(Rack) Awareness/

        3.3.1 Topology Awareness在分布式存储中的意义/

        3.3.2 Topology Awareness在HDFS中实现/

        3.3.3 Topology改进/

    3.4 小结/

第4章 Block与副本/

    4.1 理解Block/

        4.1.1 Block构成解析/

        4.1.2 副本存储解析/

    4.2 Block状态管理/

        4.2.1 UnderConstruction/

        4.2.2 Committed/

        4.2.3 Complete/

        4.2.4 UnderRecovery/

        4.2.5 Block状态小结/

    4.3 副本状态管理/

        4.3.1 RBW/

        4.3.2 finalized/

        4.3.3 RWR/

        4.3.4 RUR/

        4.3.5 Temporary/

        4.3.6 副本状态小结/

    4.4 Block管理/

        4.4.1 无效Block/

        4.4.2 损坏Block/

        4.4.3 缺失与冗余Block/

        4.4.4 Block Recovery/

    4.5 副本策略/

        4.5.1 位置策略/

        4.5.2 选盘(Volume)策略/

        4.5.3 选盘策略改进/

    4.6 小结/

第5章 通信与访问/

    5.1 HDFS RPC/

        5.1.1 Protocol Buffers介绍/

        5.1.2 RPC架构/

        5.1.3 非幂等访问/

    5.2 文件写入/

        5.2.1 数据包(packet)与Pipeline/

        5.2.2 数据写入/

        5.2.3 Lease管理与pipeline Recovery/

    5.3 数据访问/

        5.3.1 文件读剖析/

        5.3.2 short-circuit/

        5.3.3 读写策略改进/

    5.4 小结/

第6章 HA和QJM/

    6.1 HA发展路径/

    6.2 Quorum Journal Manager/

        6.2.1 分布式一致性原理/

        6.2.2 Edit共享存储系统/

        6.2.3 QJM架构设计/

        6.2.4 Edit Recovery/

    6.3 HA原理/

        6.3.1 ZKFC解析/

        6.3.2 HA隔离机制/

        6.3.3 Multi-Standby特性/

        6.3.4 HA优化及改进/

    6.4 小结/

第7章 缓存/

    7.1 分布式系统缓存设计/

        7.1.1 本地缓存/

        7.1.2 分布式缓存/

    7.2 集中式缓存管理/

        7.2.1 原理介绍/

        7.2.2 缓存调度/

        7.2.3 DataNode缓存原理/

        7.2.4 Cache&Uncache场景/

    7.3 缓存实践场景及改进/

        7.3.1 实践场景介绍/

        7.3.2 集中式缓存V2/

    7.4 小结/

第2篇 拓展与实践篇

第8章 集群拓展/

    8.1 水平拓展/

        8.1.1 水平拓展策略及实践/

        8.1.2 Router-Based Federation/

    8.2 垂直伸缩/

        8.2.1 垂直伸缩策略及实践/

        8.2.2 HDFS Quotas/

    8.3 多Namespace业务规划/

    8.4 小结/

第9章 数据分层/

    9.1 存储分层的意义/

    9.2 HDFS存储分层/

        9.2.1 冷热集群分层管理/

        9.2.2 异构分层存储/

        9.2.3 动态感知数据类型/

    9.3 纠删码（Erasure Coding）/

        9.3.1 EC使用介绍/

        9.3.2 常见EC算法介绍/

        9.3.3 EC读写解析/

    9.4 数据迁移/

        9.4.1 DistCp迁移/

        9.4.2 FastCopy迁移/

    9.5 小结/

第10章 监控、多租户和数据湖/

    10.1 大数据监控/

        10.1.1 基础设施监控采集/

        10.1.2 故障自愈/

    10.2 多租户与认证/

        10.2.1 多租户存储规划/

        10.2.2 基于Kerberos的认证/

        10.2.3 基于Delegation Token的认证/

    10.3 HDFS与Data Lakes/

    10.4 小结/

本书以Hadoop HDFS为载体，介绍了构建一款分布式系统（尤其是存储方向）所需的核心技术，所有内容均基于当前较新的3.3.x/3.4.x版本，分别从理论和实践两个维度逐一阐述。本书主要包括两篇：核心原理篇介绍了HDFS的诞生历史、元数据及Block管理、节点间通信机制、读写数据流程和高可用实现原理等；拓展与实践篇从实际出发，充分考虑了用户在应用过程中会遇到的痛点，详细介绍了集群拓展方法、数据分层存储、集群维护与多租户实施等实践经验。

    本书各章节都配有必要的流程图和原理分析图，便于读者阅读理解，并精选了非常有用的实际案例及拓展知识。阅读本书后，相信会给读者带来“1+1>2”的效果。

    本书非常适合大数据从业者、云计算领域研发及运维人员、高校研究生和热衷于分布式的技术极客阅读学习。

祝江华，大数据技术专家。多年来一直供职于头部互联网公司，积累了较为丰富的大数据行业一线研发和集群维护经验；热爱开源，长期活跃在Apache开源社区，对包括Hadoop生态在内的多款组件有过深入研究；分布式技术极客，擅长分布式存储方向，同时对大数据计算、数据湖等也有丰富实战经验。

本书以HDFS为载体全面剖析了分布式系统技术，对元数据架构、网络通信、副本机制、数据缓存及分层策略等核心技术进行了深入介绍，并进一步延伸到数据湖等流行技术，兼顾分布式存储系统的技术深度和广度，是一本学习分布式技术的佳作。

                  董西成  快手数据平台研发负责人、《Hadoop技术内幕》作者

    大数据和开源技术正在从国家战略走向各行各业，成为越来越热门的话题。Hadoop生态作为大数据基础设施之一，十多年来被广泛关注，并且切实解决了很多实际问题，尤其在互联网行业发挥了重要的基础作用。虽然近年来随着技术的持续迭代升级，Hadoop被关注的热度有所变化，但是从发展趋势和实践案例来看，并没有发生本质改变，尤其是Hadoop的重要组件HDFS，在开源社区和业界依然保持活跃。本书作者在这个方向上深耕多年，书中结合自己的实践经验全面展示了HDFS技术的发展脉络、核心逻辑、实现权衡和最佳实践，值得所有对大数据基础技术感兴趣的朋友阅读学习。同时也非常欢迎对开源感兴趣的朋友们一起参与Hadoop开源社区的建设，进一步促进Hadoop的发展和持续繁荣。

                         贺小桥  Apache member，Apache Hadoop PMC member

    Hadoop系统涉及分布式理论、海量数据存储、大数据计算等技术，已经有十多年的历史，作为Apache的顶级开源项目，其迭代速度非常快，目前已被国内外众多公司广泛使用。本书由浅入深地讲解了Hadoop多个组件的特点，并且从原理出发对各个组件展开详细讲解，相信Hadoop相关从业者都可以从中受益。同时，本书不仅介绍了Hadoop中的各种设计原理，而且还拓展介绍了真实大规模生产中如何寻找最优方案的思路与方法，理论和实践相结合，可以帮助读者更深入、系统地了解Hadoop。

                                                  吴怡燃  京东资深架构师

    HDFS是大数据场景下最热门的分布式存储系统，获得了广泛的使用和支持，目前国内缺乏对HDFS有深度分析和讲解的书籍，本书恰好填补了这一空白。本书理论结合实践，除介绍HDFS的设计理念、实现原理之外，还介绍了HDFS的运维部署、性能调优及应用场景，有利于读者快速掌握HDFS，，特别适合希望对HDFS进行系统学习的开发者阅读，也可供分布式存储系统开发者学习参考。

                                 陈昱康  B站离线平台负责人，高级技术总监