HADOOP大数据技术与应用 杨治明,许桂秋主编 著 专业科技 文轩网

章  初识Hadoop大数据技术  1 1.1  大数据技术概述  1 1.1.1  大数据产生的背景  1 1.1.2  大数据的定义  2 1.1.3  大数据技术的发展  2 1.2  Google的“三驾马车”  3 1.2.1  GFS的思想  3 1.2.2  MapReduce的思想  4 1.2.3  BigTable的思想  6 1.3  Hadoop概述  8 1.3.1  Hadoop对Google公司三篇论文思想的实现  8 1.3.2  Hadoop的发展历史  9 1.3.3  Hadoop版本的演变  11 1.3.4  Hadoop的发行版本  12 1.3.5  Hadoop的特点  12 1.4  Hadoop生态圈  12 1.5  Hadoop的典型应用场景与应用架构  13 1.5.1  Hadoop的典型应用场景  13 1.5.2  Hadoop的典型应用架构  14 习题  15 第2章  Hadoop环境设置  16 2.1  安装前准备  16 2.1.1  安装虚拟机  17 2.1.2  安装Ubuntu操作系统  20 2.1.3  关闭防火墙  22 2.1.4  SSH安装  22 2.1.5  安装Xshell及Xftp  22 2.1.6  安装JDK  24 2.1.7  下载Hadoop并解压  25 2.1.8  克隆主机  27 2.2  Hadoop的安装  28 2.2.1  安装单机模式  28 2.2.2  安装伪分布式模式  29 2.2.3  安装接近分布式模式  35 习题  41 实验  搭建Hadoop伪分布式模式环境  42 第3章  HDFS  44 3.1  HDFS简介  44 3.2  HDFS的组成与架构  45 3.2.1  NameNode  45 3.2.2  DataNode  46 3.2.3  SecondaryNameNode  46 3.3  HDFS的工作机制  47 3.3.1  机架感知与副本冗余存储策略  47 3.3.2  文件读取  49 3.3.3  文件写入  50 3.3.4  数据容错  52 3.4  HDFS操作  53 3.4.1  通过Web界面进行HDFS操作  53 3.4.2  通过HDFS Shell进行HDFS操作  54 3.4.3  通过HDFS API进行HDFS操作  60 3.5  HDFS的高级功能  68 3.5.1  安全模式  68 3.5.2  回收站  69 3.5.3  快照  70 3.5.4  配额  71 3.5.5  高可用性  71 3.5.6  联邦  72 习题  74 实验1  通过Shell命令访问HDFS  74 实验2  熟悉基于IDEA+Maven的Java开发环境  77 实验3  通过API访问HDFS  86 第4章  YARN  90 4.1  YARN产生的背景  90 4.2  初识YARN  92 4.3  YARN的架构  93 4.3.1  YARN架构概述  93 4.3.2  YARN中应用运行的机制  94 4.3.3  YARN中任务进度的监控  94 4.3.4  MapReduce 1与YARN的组成对比  95 4.4  YARN的调度器  95 4.4.1  优选先出调度器  95 4.4.2  容器调度器  96 4.4.3  公平调度器  97 4.4.4  三种调度器的比较  98 习题  98 第5章  MapReduce  99 5.1  MapReduce概述  99 5.1.1  MapReduce是什么  99 5.1.2  MapReduce的特点  99 5.1.3  MapReduce不擅长的场景  100 5.2  MapReduce编程模型  100 5.2.1  MapReduce编程模型概述  100 5.2.2  MapReduce编程实例  101 5.3  MapReduce编程进阶  112 5.3.1  MapReduce的输入格式  112 5.3.2  MapReduce的输出格式  114 5.3.3  分区  115 5.3.4  合并  118 5.4  MapReduce的工作机制  119 5.4.1  MapReduce作业的运行机制  119 5.4.2  进度和状态的更新  120 5.4.3  Shuffle  121 5.5  MapReduce编程案例  122 5.5.1  排序  122 5.5.2  去重  126 5.5.3  多表查询  127 习题  129 实验1  分析和编写WordCount程序  130 实验2  MapReduce序列化、分区实验  131 实验3  使用MapReduce求出各年销售笔数、各年销售总额  134 实验4  使用MapReduce统计用户在搜狗上的搜索数据  136 第6章  HBase、Hive、Pig  139 6.1  HBase  139 6.1.1  行式存储与列式存储  139 6.1.2  HBase简介  140 6.1.3  HBase的数据模型  141 6.1.4  HBase的物理模型  143 6.1.5  HBase的系统架构  144 6.1.6  HBase的安装  147 6.1.7  访问HBase  152 6.2  Hive  157 6.2.1  安装Hive  157 6.2.2  Hive的架构与工作原理  160 6.2.3  Hive的数据类型与存储格式  163 6.2.4  Hive的数据模型  167 6.2.5  查询数据  169 6.2.6  用户定义函数  170 6.3  Pig  171 6.3.1  Pig概述  171 6.3.2  安装Pig  172 6.3.3  Pig Latin编程语言  172 6.3.4  Pig代码实例  177 6.3.5  用户自定义函数  179 习题  181 实验1  HBase实验——安装和配置（可选）  181 实验2  HBase实验——通过HBase Shell访问HBase（可选）  185 实验3  HBase实验——通过Java API访问HBase  187 实验4  HBase实验——通过Java API开发基于HBase的MapReduce程序  189 实验5  Hive实验——Metastore采用Local模式（MySQL数据库）搭建Hive环境（可选）  191 实验6  Hive实验——Hive常用操作  193 实验7  Pig实验——安装和使用Pig（可选）  194 实验8  Pig实验——使用Pig Latin操作员工表和部门表  195 第7章  Flume  198 7.1  Flume产生的背景  198 7.2  Flume简介  198 7.3  Flume的安装  199 7.4  Flume的架构  200 7.5  Flume的应用  201 7.5.1  Flume的组件类型及其配置项  201 7.5.2  Flume的配置和运行方法  206 7.5.3  Flume配置示例  207 7.6  Flume的工作方式  209 习题  210 实验1  Flume的配置与使用1——Avro Source + Memory Channel + Logger Sink  211 实验2  Flume的配置与使用2——Syslogtcp Source + Memory Channel + HDFS Sink  212 实验3  Flume的配置与使用3——Exec Source + Memory Channel + Logger Sink  213 第8章  Sqoop  214 8.1  Sqoop背景简介  214 8.2  Sqoop的基本原理  215 8.3  Sqoop的安装与部署  216 8.3.1  下载与安装  216 8.3.2  配置Sqoop  217 8.4  Sqoop应用  219 8.4.1  列出MySQL数据库的基本信息  219 8.4.2  MySQL和HDFS数据互导  219 8.4.3  MySQL和Hive数据互导  220 习题  221 实验  Sqoop常用功能的使用  222 第9章  ZooKeeper  227 9.1  ZooKeeper简介  227 9.2  ZooKeeper的安装  228 9.2.1  单机模式  228 9.2.2  集群模式  229 9.3  ZooKeeper的基本原理  231 9.3.1  Paxos算法  231 9.3.2  Zab算法  232 9.3.3  ZooKeeper的架构  232 9.3.4  ZooKeeper的数据模型  233 9.4  ZooKeeper的简单操作  235 9.4.1  通过ZooKeeper Shell命令操作ZooKeeper  235 9.4.2  通过ZooInspector工具操作ZooKeeper  238 9.4.3  通过Java API操作ZooKeeper  238 9.5  ZooKeeper的特性  239 9.5.1  会话  239 9.5.2  临时节点  240 9.5.3  顺序节点  240 9.5.4  事务操作  241 9.5.5  版本号  241 9.5.6  监视  242 9.6  ZooKeeper的应用场景  243 9.6.1  Master选举  244 9.6.2  分布式锁  245 习题  246 实验  ZooKeeper的3种访问方式  246 0章  Ambari  249 10.1  Ambari简介  249 10.1.1  背景  249 10.1.2  Ambari的主要功能  250 10.2  Ambari的安装  250 10.2.1  安装前准备  250 10.2.2  安装Ambari  254 10.3  利用Ambari管理Hadoop集群  257 10.3.1  安装与配置HDP集群  258 10.3.2  节点的扩展  264 10.3.3  启用HA  267 10.4  Ambari的架构和工作原理  271 10.4.1  Ambari的总体架构  271 10.4.2  Ambari Agent  272 10.4.3  Ambari Server  272 习题  273 1章  Mahout  274 11.1  Mahout简介  274 11.1.1  什么是Mahout  274 11.1.2  Mahout能做什么  275 11.2  Taste简介  276 11.2.1  DataModel  276 11.2.2  Similarity  277 11.2.3  UserNeighborhood  277 11.2.4  Recommender  277 11.2.5  RecommenderEvaluator  277 11.2.6  RecommenderIRStatsEvaluator  278 11.3  使用Taste构建推荐系统  278 11.3.1  创建Maven项目  278 11.3.2  导入Mahout依赖  278 11.3.3  获取电影评分数据  278 11.3.4  编写基于用户的推荐  279 11.3.5  编写基于物品的推荐  280 11.3.6  评价推荐模型  281 11.3.7  获取推荐的查准率和查全率  281 习题  282 实验  基于Mahout的电影推荐系统  283 综合实验  搜狗日志查询分析（MapReduce+Hive综合实验）  284 参考文献  287