正版新书]大数据计算系统:原理、技术与应用王宏志 刘海龙 张立

目    录<br />前言<br />部  基础<br />章  大数据计算系统概述2<br />1.1  大数据计算系统的定义2<br />1.1.1  大数据2<br />1.1.2  大数据计算4<br />1.1.3  大数据计算系统4<br />1.2  常见的大数据计算系统6<br />1.2.1  批处理计算框架Hadoop6<br />1.2.2  分布式计算框架Spark6<br />1..  流计算系统Storm7<br />1.2.4  分布式图计算框架GraphX7<br />1.2.5  大数据计算系统的对比7<br />1.3  大数据计算系统的监控与<br />     运维概述7<br />1.3.1  概述7<br />1.3.2  监控与运维的范围8<br />1.3.3  大数据计算系统的监控与<br />    运维方法8<br />1.3.4  大数据计算系统的运维目标9<br />1.4  大数据计算系统的能优化10<br />1.4.1  提升大数据计算系统<br />    能的途径10<br />1.4.2  提升大数据计算系统<br />    能的难度11<br />1.4.3  运维与能优化的关系12<br />习题112<br />第二部分  应用实现<br />第2章  Hadoop的配置与编程14<br />2.1  批处理计算框架概述14<br />2.1.1  计算框架14<br />2.1.2  批处理15<br />2.2  Hadoop环境的配置与搭建15<br />2.2.1  环境配置前的准备15<br />2.2.2  Hadoop安装的预备知识16<br />2..  本地/独立模式的配置17<br />2.2.4  伪分布式模式的配置18<br />2.2.5  全分布式模式的配置20<br />.  一个简单示例22<br />..1  环境与数据的准备22<br />..2  在EA下建立基于Maven<br />    的Hadoop项目<br />..  编写WordCount程序26<br />..4  Hadoop程序的运行过程与<br />    结果查看29<br />2.4  MapReduce编程30<br />2.4.1  MapReduce计算模型30<br />2.4.2  MapReduce程序的运行过程32<br />2.4.3  去重38<br />习题241<br />第3章  HDFS及其应用42<br />3.1  HDFS概述42<br />3.2  HDFS Shell43<br />3.2.1  概述43<br />3.2.2  帮的使用方法44<br />3..  通用命令行操作45<br />3.3  HDFS目录与数据的浏览47<br />3.4  HDFS API48<br />3.4.1  概述48<br />3.4.2  读文件操作48<br />3.4.3  写文件操作48<br />3.4.4  FileUtil文件处理49<br />3.4.5  HDFS API应用示例51<br />习题357<br />第4章  Spark的配置与编程58<br />4.1  Spark环境的安装与部署59<br />4.1.1  Spark的安装59<br />4.1.2  Scala的安装60<br />4.1.3  Spark的源码编译61<br />4.1.4  搭建Spark单机版环境64<br />4.1.5  搭建Spark独立运行环境66<br />4.1.6  搭建Spark on YARN环境68<br />4.1.7  Spark的高可用部署70<br />4.2  Spark的运行72<br />4.2.1  Spark程序运行概述72<br />4.2.2  Spark的本地运行过程73<br />4..  独立运行模式74<br />4.2.4  Spark on YARN的运行过程75<br />4.2.5  独立运行模式与YARN<br />     模式的比较76<br />4.3  Spark Scala编程76<br />4.3.1  Scala的语法76<br />4.3.2  Scala编程入门82<br />4.3.3  Spark API的使用86<br />4.3.4  用Scala开发Spark应用<br />     程序的案例88<br />4.3.5  程序运行过程的分析93<br />习题495<br />第5章  Storm的配置与编程96<br />5.1  流计算概述96<br />5.2  Storm概述98<br />5.2.1  什么是Storm98<br />5.2.2  Storm的特征98<br />5.3  Storm开发环境的搭建99<br />5.3.1  Storm环境的配置99<br />5.3.2  命令行客户端102<br />5.3.3  EA下建立Storm的<br />    Maven项目107<br />5.4  Storm编程109<br />5.4.1  可以与Storm集成的系统109<br />5.4.2  计算模型109<br />5.4.3  可以使用任何语言110<br />5.4.4  简单的API110<br />5.5  Storm编程示例—单词110<br />5.5.1  实现目标110<br />5.5.2  建立编写程序的包名111<br />5.5.3  编写spouts文件Word-<br />    Reader112<br />5.5.4  编写bolts文件Word-<br />    Normalizer114<br />5.5.5  编写bolts文件WordCounter115<br />5.5.6  编写主函数文件Topologoy-<br />    Main116<br />5.5.7  通过主函数文件Topologoy-<br />    Main运行程序117<br />习题5117<br />第6章  GraphX及其应用118<br />6.1  图计算概述118<br />6.1.1  图118<br />6.1.2  属图119<br />6.1.3  图计算119<br />6.1.4  支持图计算的GraphX120<br />6.2  GraphX编程120<br />6.2.1  GraphX项目的导入120<br />6.2.2  GraphX中属图的表达120<br />6..  图操作符121<br />6.3  GraphX编程示例126<br />6.3.1  一个简单的GraphX示例126<br />6.3.2  GraphX应用编程—<br />    子图发现129<br />6.3.3  GraphX应用编程—<br />    PageRank130<br />习题6132<br />第三部分  原理<br />第7章  Hadoop的原理134<br />7.1  Hadoop的体系结构134<br />7.2  MapReduce的工作机制135<br />7.2.1  背景135<br />7.2.2  计算的执行流程137<br />7..  计算的本地13<br />7.3  MapReduce作业的运行机制139<br />7.3.1  经典的MapReduce139<br />7.3.2  YARN145<br />7.4  作业的调度149<br />7.4.1  调度选项149<br />7.4.2  FIFO调度器150<br />7.4.3  容量调度器151<br />7.4.4  公平调度器151<br />7.4.5  延迟调度152<br />7.4.6  资源的公平153<br />7.5  任务的执行153<br />7.5.1  任务执行的环境153<br />7.5.2  任务的JVM重用155<br />7.6  Shuffle的工作原理157<br />7.6.1  Map端157<br />7.6.2  Reduce端162<br />习题7166<br />第8章  HDFS的原理167<br />8.1  HDFS的体系结构167<br />8.1.1  NameNode的工作原理168<br />8.1.2  次级Namede69<br />8.1.3  DataNode的工作原理170<br />8.1.4  NameNode与DataNode<br />     的关系171<br />8.1.5  复制172<br />8.1.6  心跳机制173<br />8.2  HDFS中的数据访问174<br />8.2.1  HDFS的写流程174<br />8.2.2  HDFS的读流程175<br />8..  HDFS的数据删除流程176<br />8.3  安全机制177<br />8.4  容错机制179<br />8.4.1  HDFS异常处理179<br />8.4.2  流水线恢复185<br />8.4.3  故障检测186<br />8.4.4  NameNode节点容错187<br />8.5  HDFS on YARN187<br />8.5.1  NameNode单点故障187<br />8.5.2  HDFS Federation188<br />8.5.3  高可用190<br />习题8190<br />第9章  Spark的原理192<br />9.1  Spark的原理概述192<br />9.2  Spark的RDD194<br />9.2.1  什么是RDD194<br />9.2.2  RDD的操作195<br />9..  RDD的特206<br />9.2.4  RDD的实现原理207<br />9.3  Spark的存储209<br />9.3.1  概述209<br />9.3.2  RDD的持久化210<br />9.3.3  Shuffle数据的持久化211<br />9.4  Spark任务的执行与提交213<br />9.4.1  跨应用程序进行调度213<br />9.4.2  Spark作业调度214<br />9.5  Spark的容错原理215<br />9.5.1  Lineage容错216<br />9.5.2  检查点容错216<br />习题9216<br />0章  Storm的原理218<br />10.1  Storm的概念与系统架构218<br />10.1.1  Storm的基本概念218<br />10.1.2  Storm的系统架构221<br />10.2  Storm的运行原理222<br />10.2.1  Storm的工作流程222<br />10.2.2  Storm元数据2<br />10.3  Storm拓扑的并发机制2<br />10.3.1  拓扑的运行2<br />10.3.2  配置拓扑的并行度224<br />10.4  Storm的通信机制225<br />10.4.1  Worker进程间通信225<br />10.4.2  Worker进程间通信的分析226<br />10.5  Storm的容错227<br />10.5.1  任务级失败227<br />10.5.2  任务槽故障级失败227<br />10.5.3  集群节点故障227<br />10.5.4  Nimbus节点故障227<br />习题10227<br />1章  GraphX的原理229<br />11.1  GraphX概述229<br />11.2  GraphX的图数据存储0<br />11.2.1  图数据存储策略0<br />11.2.2  GraphX中存储策略的实现2<br />11.3  GraphX对图计算的支持4<br />11.3.1  GraphX中的图计算操作4<br />11.3.2  GraphX对Pregel的实现<br />习题11<br />第四部分  监控、运维与调优<br />2章  大数据计算系统的监控242<br />12.1  监控的准备工作242<br />12.1.1  掌握系统的硬件环境242<br />12.1.2  掌握系统的网络环境244<br />12.1.3  掌握系统的配置环境245<br />12.2  监控内容248<br />12.2.1  硬件资源的监控248<br />12.2.2  HDFS的监控250<br />12..  上层服务的监控251<br />1.  Hadoop监控的相关参数251<br />1..1  JVM指标251<br />1..2  RPC指标252<br />1..  NameNode指标253<br />1..4  DataNode指标254<br />12.4  通过HTTP界面监控Hadoop<br />     的状态254<br />12.5  Hadoop的监控命令255<br />12.5.1  fsck命令255<br />12.5.2  dfsadmin命令256<br />12.6  编写自己的监控工具259<br />12.7  利用Ganglia进行Hadoop<br />     集群监控259<br />12.7.1  Ganglia的安装260<br />12.7.2  Ganglia的使用测试262<br />12.8  Hadoop的监控工具264<br />习题12264<br />3章  大数据计算系统的运维265<br />13.1  Hadoop及相关服务的<br />     启动与停止265<br />13.1.1  启动操作及顺序265<br />13.1.2  停止操作及顺序267<br />13.1.3  任务停止后的日志查看268<br />13.2  用户身份确认和授权270<br />13.2.1  身份确认270<br />13.2.2  授权271<br />13.3  Hadoop的运维命令272<br />13.3.1  Hadoop Shell中的运维命令273<br />13.3.2  增加DataNode275<br />13.3.3  删除DataNode277<br />13.4  Hadoop中的数据迁移和备份279<br />13.4.1  HDFS数据块的自动备份279<br />13.4.2  Hadoop数据目录的迁移279<br />13.4.3  利用distcp进行数据迁移280<br />13.5  Hadoop的容灾处理282<br />13.5.1  NameNode多目录配置282<br />13.5.2  DataNode多目录配置283<br />13.5.3  配置高可用：冷备份283<br />13.5.4  配置高可用：热备份285<br />13.5.5  测试Hadoop高可用的<br />     自动容灾287<br />13.6  基于Greenplum进行Hadoop<br />     故障检测287<br />习题13288<br />4章  大数据计算系统的调优289<br />14.1  为什么要进行调优289<br />14.2  如何调优290<br />14.2.1  明确调优的范围291<br />14.2.2  明确调优的目的292<br />14..  调优不是一劳永逸的293<br />14.3  Hadoop的能指标293<br />14.3.1  Hadoop的作业能<br />     问题分析293<br />14.3.2  Hadoop的负载分析293<br />14.4  系统优化299<br />14.4.1  操作系统的优化299<br />14.4.2  JVM参数的优化299<br />14.5  机架感知对能调优的影响302<br />14.6  Hadoop系统参数调优304<br />14.6.1  Hadoop系统的参数304<br />14.6.2  参数优化的原则316<br />14.6.3  参数调优的案例316<br />14.7  生产环境的Hadoop<br />     能优化319<br />习题14320

大数据计算系统是大数据必须掌握和了解的内容之一。本书结合两位作者的科研和教学经验，详细介绍了目前常用的大数据计算系统的架构、原理、编程和优化方法。本书分为基础篇、原理篇和运维篇三个部分，基础篇介绍常用大数据计算系统上的编程方法，为后续理解原理并应用奠定基础；原理篇介绍常用大数据计算系统的架构、运行机制，并结合实际场景介绍不同计算系统的应用和设计方法；运维篇介绍了不同计算系统的调优和维护机制，确保大数据计算系统的高效工作。与同类书相比，本书内容层层深入，既有原理的介绍，又有运维、调优等工程知识，为读者成为大数据奠定坚实基础。