|
| |
| 商品名称： | 大数据计算系统：原理、技术与应用 |
| 作 者： | 王宏志 刘海龙 张立臣 石胜飞
|
| 市 场 价： | 79.00
|
| ISBN 号： | 9787111733072
|
| 出版日期： |
|
| 页 数： | 320
|
| 开 本： |
|
| 出 版 社： | 机械工业出版社 |
|
目 录 前言 第一部分 基础 第1章 大数据计算系统概述2 1.1 大数据计算系统的定义2 1.1.1 大数据2 1.1.2 大数据计算4 1.1.3 大数据计算系统4 1.2 常见的大数据计算系统6 1.2.1 批处理计算框架Hadoop6 1.2.2 分布式计算框架Spark6 1.2.3 流计算系统Storm7 1.2.4 分布式图计算框架GraphX7 1.2.5 大数据计算系统的对比7 1.3 大数据计算系统的监控与 运维概述7 1.3.1 概述7 1.3.2 监控与运维的范围8 1.3.3 大数据计算系统的监控与 运维方法8 1.3.4 大数据计算系统的运维目标9 1.4 大数据计算系统的性能优化10 1.4.1 提升大数据计算系统 性能的途径10 1.4.2 提升大数据计算系统 性能的难度11 1.4.3 运维与性能优化的关系12 习题112 第二部分 应用实现 第2章 Hadoop的配置与编程14 2.1 批处理计算框架概述14 2.1.1 计算框架14 2.1.2 批处理15 2.2 Hadoop环境的配置与搭建15 2.2.1 环境配置前的准备15 2.2.2 Hadoop安装的预备知识16 2.2.3 本地/独立模式的配置17 2.2.4 伪分布式模式的配置18 2.2.5 全分布式模式的配置20 2.3 一个简单示例22 2.3.1 环境与数据的准备22 2.3.2 在IDEA下建立基于Maven 的Hadoop项目23 2.3.3 编写WordCount程序26 2.3.4 Hadoop程序的运行过程与 结果查看29 2.4 MapReduce编程30 2.4.1 MapReduce计算模型30 2.4.2 MapReduce程序的运行过程32 2.4.3 去重38 习题241 第3章 HDFS及其应用42 3.1 HDFS概述42 3.2 HDFS Shell43 3.2.1 概述43 3.2.2 帮助的使用方法44 3.2.3 通用命令行操作45 3.3 HDFS目录与数据的浏览47 3.4 HDFS API48 3.4.1 概述48 3.4.2 读文件操作48 3.4.3 写文件操作48 3.4.4 FileUtil文件处理49 3.4.5 HDFS API应用示例51 习题357 第4章 Spark的配置与编程58 4.1 Spark环境的安装与部署59 4.1.1 Spark的安装59 4.1.2 Scala的安装60 4.1.3 Spark的源码编译61 4.1.4 搭建Spark单机版环境64 4.1.5 搭建Spark独立运行环境66 4.1.6 搭建Spark on YARN环境68 4.1.7 Spark的高可用性部署70 4.2 Spark的运行72 4.2.1 Spark程序运行概述72 4.2.2 Spark的本地运行过程73 4.2.3 独立运行模式74 4.2.4 Spark on YARN的运行过程75 4.2.5 独立运行模式与YARN 模式的比较76 4.3 Spark Scala编程76 4.3.1 Scala的语法76 4.3.2 Scala编程入门82 4.3.3 Spark API的使用86 4.3.4 用Scala开发Spark应用 程序的案例88 4.3.5 程序运行过程的分析93 习题495 第5章 Storm的配置与编程96 5.1 流计算概述96 5.2 Storm概述98 5.2.1 什么是Storm98 5.2.2 Storm的特征98 5.3 Storm开发环境的搭建99 5.3.1 Storm环境的配置99 5.3.2 命令行客户端102 5.3.3 IDEA下建立Storm的 Maven项目107 5.4 Storm编程109 5.4.1 可以与Storm集成的系统109 5.4.2 计算模型109 5.4.3 可以使用任何语言110 5.4.4 简单的API110 5.5 Storm编程示例—单词计数110 5.5.1 实现目标110 5.5.2 建立编写程序的包名111 5.5.3 编写spouts文件Word- Reader112 5.5.4 编写bolts文件Word- Normalizer114 5.5.5 编写bolts文件WordCounter115 5.5.6 编写主函数文件Topologoy- Main116 5.5.7 通过主函数文件Topologoy- Main运行程序117 习题5117 第6章 GraphX及其应用118 6.1 图计算概述118 6.1.1 图118 6.1.2 属性图119 6.1.3 图计算119 6.1.4 支持图计算的GraphX120 6.2 GraphX编程120 6.2.1 GraphX项目的导入120 6.2.2 GraphX中属性图的表达120 6.2.3 图操作符121 6.3 GraphX编程示例126 6.3.1 一个简单的GraphX示例126 6.3.2 GraphX应用编程— 子图发现129 6.3.3 GraphX应用编程— PageRank130 习题6132 第三部分 原理 第7章 Hadoop的原理134 7.1 Hadoop的体系结构134 7.2 MapReduce的工作机制135 7.2.1 背景135 7.2.2 计算的执行流程137 7.2.3 计算的本地性138 7.3 MapReduce作业的运行机制139 7.3.1 经典的MapReduce139 7.3.2 YARN145 7.4 作业的调度149 7.4.1 调度选项149 7.4.2 FIFO调度器150 7.4.3 容量调度器151 7.4.4 公平调度器151 7.4.5 延迟调度152 7.4.6 主导资源的公平性153 7.5 任务的执行153 7.5.1 任务执行的环境153 7.5.2 任务的JVM重用155 7.6 Shuffle的工作原理157 7.6.1 Map端157 7.6.2 Reduce端162 习题7166 第8章 HDFS的原理167 8.1 HDFS的体系结构167 8.1.1 NameNode的工作原理168 8.1.2 次级NameNode169 8.1.3 DataNode的工作原理170 8.1.4 NameNode与DataNode 的关系171 8.1.5 复制172 8.1.6 心跳机制173 8.2 HDFS中的数据访问174 8.2.1 HDFS的写流程174 8.2.2 HDFS的读流程175 8.2.3 HDFS的数据删除流程176 8.3 安全机制177 8.4 容错机制179 8.4.1 HDFS异常处理179 8.4.2 流水线恢复185 8.4.3 故障检测186 8.4.4 NameNode节点容错187 8.5 HDFS on YARN187 8.5.1 NameNode单点故障187 8.5.2 HDFS Federation188 8.5.3 高可用性190 习题8190 第9章 Spark的原理192 9.1 Spark的原理概述192 9.2 Spark的RDD194 9.2.1 什么是RDD194 9.2.2 RDD的操作195 9.2.3 RDD的特性206 9.2.4 RDD的实现原理207 9.3 Spark的存储209 9.3.1 概述209 9.3.2 RDD的持久化210 9.3.3 Shuffle数据的持久化211 9.4 Spark任务的执行与提交213 9.4.1 跨应用程序进行调度213 9.4.2 Spark作业调度214 9.5 Spark的容错原理215 9.5.1 Lineage容错216 9.5.2 检查点容错216 习题9216 第10章 Storm的原理218 10.1 Storm的概念与系统架构218 10.1.1 Storm的基本概念218 10.1.2 Storm的系统架构221 10.2 Storm的运行原理222 10.2.1 Storm的工作流程222 10.2.2 Storm元数据223 10.3 Storm拓扑的并发机制223 10.3.1 拓扑的运行223 10.3.2 配置拓扑的并行度224 10.4 Storm的通信机制225 10.4.1 Worker进程间通信225 10.4.2 Worker进程间通信的分析226 10.5 Storm的容错227 10.5.1 任务级失败227 10.5.2 任务槽故障级失败227 10.5.3 集群节点故障227 10.5.4 Nimbus节点故障227 习题10227 第11章 GraphX的原理229 11.1 GraphX概述229 11.2 GraphX的图数据存储230 11.2.1 图数据存储策略230 11.2.2 GraphX中存储策略的实现232 11.3 GraphX对图计算的支持234 11.3.1 GraphX中的图计算操作234 11.3.2 GraphX对Pregel的实现236 习题11239 第四部分 监控、运维与调优 第12章 大数据计算系统的监控242 12.1 监控的准备工作242 12.1.1 掌握系统的硬件环境242 12.1.2 掌握系统的网络环境244 12.1.3 掌握系统的配置环境245 12.2 监控内容248 12.2.1 硬件资源的监控248 12.2.2 HDFS的监控250 12.2.3 上层服务的监控251 12.3 Hadoop监控的相关参数251 12.3.1 JVM指标251 12.3.2 RPC指标252 12.3.3 NameNode指标253 12.3.4 DataNode指标254 12.4 通过HTTP界面监控Hadoop 的状态254 12.5 Hadoop的监控命令255 12.5.1 fsck命令255 12.5.2 dfsadmin命令256 12.6 编写自己的监控工具259 12.7 利用Ganglia进行Hadoop 集群监控259 12.7.1 Ganglia的安装260 12.7.2 Ganglia的使用测试262 12.8 Hadoop的其他监控工具264 习题12264 第13章 大数据计算系统的运维265 13.1 Hadoop及相关服务的 启动与停止265 13.1.1 启动操作及顺序265 13.1.2 停止操作及顺序267 13.1.3 任务停止后的日志查看268 13.2 用户身份确认和授权270 13.2.1 身份确认270 13.2.2 授权271 13.3 Hadoop的运维命令272 13.3.1 Hadoop Shell中的运维命令273 13.3.2 增加DataNode275 13.3.3 删除DataNode277 13.4 Hadoop中的数据迁移和备份279 13.4.1 HDFS数据块的自动备份279 13.4.2 Hadoop数据目录的迁移279 13.4.3 利用distcp进行数据迁移280 13.5 Hadoop的容灾处理282 13.5.1 NameNode多目录配置282 13.5.2 DataNode多目录配置283 13.5.3 配置高可用：冷备份283 13.5.4 配置高可用：热备份285 13.5.5 测试Hadoop高可用的 自动容灾287 13.6 基于Greenplum进行Hadoop 故障检测287 习题13288 第14章 大数据计算系统的调优289 14.1 为什么要进行调优289 14.2 如何调优290 14.2.1 明确调优的范围291 14.2.2 明确调优的目的292 14.2.3 调优不是一劳永逸的293 14.3 Hadoop的性能指标293 14.3.1 Hadoop的作业性能 问题分析293 14.3.2 Hadoop的负载分析293 14.4 系统优化299 14.4.1 操作系统的优化299 14.4.2 JVM参数的优化299 14.5 机架感知对性能调优的影响302 14.6 Hadoop系统参数调优304 14.6.1 Hadoop系统的参数304 14.6.2 参数优化的原则316 14.6.3 参数调优的案例316 14.7 生产环境的Hadoop 性能优化319 习题14320 |
|
本书兼顾广度和深度、应用和原理、研发和运维，对于各类大数据计算系统进行了深入的介绍，包括大数据计算系统的基本概念、各种大数据计算系统的配置与程序设计方法、大数据计算系统的运行原理、大数据计算机系统的监控、运维和调优方法等。本书适用于作为数据科学与大数据、计算机等专业本科生和研究生相关课程的教材，还可供大数据领域从业人员参考。 |
非常抱歉，您前期未参加预订活动，
无法支付尾款哦！
