醉染图书循序渐进学Spark9787111563327

章Spark架构与集群环境
1.1Spark概述与架构
1.1.1Spark概述
1.1.2Spark生态
1.1.3Spark架构
1.2在Linux集群上部署Spark
1.2.1安装OpenJDK
1.2.2安装Scala
1..配置SSH免密码登录
1.2.4Hadoop的安装配置
1.2.5Spark的安装部署
1.2.6Hadoop与Spark的集群复制
1.3Spark 集群试运行
1.4Intellij EA的安装与配置
1.4.1Intellij的安装
1.4.2Intellij的配置
1.5Eclipse E的安装与配置
1.6使用Spark Shell开发运行Spark程序
1.7本章小结
第2章Spark 编程模型
2.1RDD弹分布式数据集
2.1.1RDD简介
2.1.2深入理解R
2.1.3RDD特总结
2.2Spark程序模型
.Spark算子
..1算子简介
..2Value型Transmation算子
..Key-Value型Transmation算子
..4Action算子
2.4本章小结
第3章Spark机制原理
3.1Spark应用执行机制分析
3.1.1Spark应用的基本概念
3.1.2Spark应用执行机制概要
3.1.3应用提交与执行
3.2Spark调度机制
3.2.1Application的调度
3.2.2job的调度
3..stage（调度阶段）和TasksetManager的调度
3.2.4task的调度
3.3Spark存储与
3.3.1Spark存储系统概览
3.3.2BlockManager中的通信
3.4Spark通信机制
3.4.1分布式通信方式
3.4.2通信框架AK
3.4.3Client、Master和Worker之间的通信
3.5容错机制及依赖
3.5.1Lineage（血统）机制
3.5.2Checkpoint（检查点）机制
3.6Shuffle机制
3.6.1什么是Shuffle
3.6.2Shuffle历史及细节
3.7本章小结
第4章深入Spark内核
4.1Spark代码布局
4.1.1Spark源码布局简介
4.1.2Spark Core内模块概述
4.1.3Spark Core外模块概述
4.2Spark执行主线[RDD→Task]剖析
4.2.1从RDD到DAGScheduler
4.2.2从DAGScheduler到TaskScheduler
4..从TaskScheduler到Worker节点
4.3Client、Master和Worker交互过程剖析
4.3.1交互流程概览
4.3.2交互过程调用
4.4Shuffle触发
4.4.1触发Shuffle Write
4.4.2触发Shuffle Read
4.5Spark存储策略
4.5.1CacheManager职能
4.5.2BlockManager职能
4.5.3DiskStore与DiskBlock--Manager类
4.5.4MemoryStore类
4.6本章小结
第5章Spark on YARN
5.1YARN概述118
5.2Spark on YARN的部署模式
5.3Spark on YARN的配置重点
5.3.1YARN的自身内存配置
5.3.2Spark on YARN的重要配置
5.4本章小结
第6章BDAS 生态主要模块
6.1Spark SL
6.1.1Spark SL概述
6.1.2Spark SL的架构分析
6.1.3Spark SL如何使用
6.2Spark Streaming
6.2.1Spark Streaming概述
6.2.2Spark Streaming的架构分析
6..Spark Streaming编程模型
6.2.4数据源Data Source
6.2.5DStream作6.3SparkR
6.3.1R语言概述
6.3.2SparkR简介
6.3.3DataFrame创建
6.3.4DataFrame作6.4MLlib on Spark
6.4.1机器学习概述
6.4.2机器学习的研究方向与问题
6.4.3机器学习的常见算法
6.4.4MLlib概述
6.4.5MLlib架构
6.4.6MLlib使用实例——电影
6.5本章小结
第7章Spark调优
7.1参数配置
7.2调优技巧
7.2.1序列化优化
7.2.2内存优化
7..数据本地化
7.2.4优化考虑
7.3实践中常见调优问题及思考
7.4本章小结
第8章Spark 2.0.0
8.1功能变化
8.1.1删除的功能
8.1.2Spark中发生变化的行为
8.1.3不再建议使用的功能
8.2Core以及Spark SL的改变
8.2.1编程API
8.2.2多说些关于SparkSession
8..SL
8.3MLlib
8.3.1新功能
8.3.2速度/扩展
8.4SparkR
8.5Streaming
8.5.1初识结构化Streaming
8.5.2结构化Streaming编程模型
8.5.3结果输出
8.6依赖、打包
8.7本章小结

Preface?前    言Spark诞生于美国加州大学伯克利分校AMP实验室。随着大数据技术在互联网、金融等领域的突破式进展，Spark在近些年得到更为广泛的应用。这是一个核心贡献者超过一半为华人的大数据平台开源项目，且正处于飞展、快速成熟的阶段。    为什么写这本书Spark已经成为大数据计算、分析领域新的热点和发展方向。相对于Hadoop传统的MapReduce计算模型，Spark提供更为高效的计算框架以及更为丰富的功能，因此在大数据生产应用领域中不断攻城略地，势如破竹。    与企业不断涌现的对大数据技术的需求相比，大数据人才还存在很大缺口，对大数据技术充满期许的新人正在源源不断地加入这个领域。在小象学院的教学实践过程中，我们发现，一本能完整系统地介绍Spark各模块原理并兼顾使用实战的书，对于初入大数据领域的技术人员至关重要。于是，我们根据日常积累的经验，著成本书。    Spark作为一个高展的开源项目，近也发布了全新的Spark 2.0版本。对于Spark 2.0版本的新特，我们也专门给予描述，以期将前沿的Spark技术奉献给读者。    本书面向的读者Spark初学者Spark应用开发人员Spark运维人员大数据技术爱好者如何阅读本书本书共分8章：    章介绍了Spark大数据处理框架的基本概念、主要组成部分、基本架构，以及Spark集群环境搭建和Spark开发环境的构建方法。    第2章引入Spark编程中的核心——RDD弹分布式数据集，以典型的编程范例，讲解基于RDD的算子操作。    第3章主要讲述了Spark的工作机制与原理，剖析了Spark的提交和执行时的具体机制，重点强调了Spark程序的宏观执行过程。此外，更深入地剖析了Spark的存储及IO、通信机制、容错机制和Shuffle机制。    第4章对Spark的代码布局做了宏观介绍，并对Spark的执行主线进行详细剖析，从代码层面详细讲述RDD是如何落地到Worker上执行的。同时，本章从另一个角度分析了Client、Master与Worker之间的交互过程，深入讲述了Spark的两个重要功点Spark Shuffle与Spark存储机制。    第5章介绍了YARN的基本原理及基于YARN的Spark程序提交，并结合从程序提交到落地执行的过程，详细介绍了各个阶段的资源管理和调度职能。在本章的后半部分，主要从资源配置的角度对YARN及基于YARN的Spark做了较为详细的介绍。    6章一讲解了BDAS中的主要模块。由Spark SL开始，介绍了Spark SL及其编程模型和DataFrame。接着深入讲解Spark生态中用于流式计算的模块Spark Streaming。之后，讲解了Spark R的基本概念及操作。 针对机器学习的流行趋势，重点介绍了Spark MLlib的架构及编程应用，以及机器学习的基本概念和基本算法。    第7章首先详细叙述了Spark调优的几个重要方面，接着给出了工业实践中常见的一些问题，以及解决问题的常用策略，启发读者在此基础上进一步思考和探索。    第8章描述了Spark 2.0.0发布之后，Spark Core、Spark SL、MLlib、Spark Streaming、Spark R等模块API的变化以及新增的功能特等。对于变化较大的Spark SL，书中用实际的代码样例更详细地说明和讲解了SparkSession、结构化Streaming等新特。    对于Spark的初学者或希望从零开始详细了解Spark技术的读者，请从章开始通读全书；对于有一定Spark基础的研究者，可从第4章开始阅读；如果只想了解Spark基本的原理，阅读～3章即可。    资源和勘误本书大量资源来源于小象学院专家团队在大数据项目开发以及Spark教学课程中的经验积累。本书内容的撰写也参考了大量官方文档（http://spark.apache.org/）。    由于Spark技术正在飞展，加之笔者水平有限，书中难免存在谬误，也可能存在若干技术细节描述不详尽之处，恳请读者批评指正。欢迎大家关注服务号“小象学院”，把您的意见或者建议反馈给我们。    致谢首先应该感谢Apache Spark的开源贡献者们，Spark是当今大数据领域伟大的开源项目之一，没有这一开源项目，便没有本书。    本书以小象学院git项目方式管理。感谢姜冰钰、陈超、冼茂源等每一位内容贡献者，感谢他们花费大量时间，将自己对Spark的理解加上在实际工作、学习过程中的体会，融汇成丰富的内容。    感谢本书的审阅者樊明璐、杨福川、李艺，他们对本书的内容和结构提供了宝贵的意见。