醉染图书从零开始学HADOOP大数据分析(视频教学版)9787111619314

前言篇 Hadoop基础知识章 初识Hadop2.1 大数据初探21.1.1 大数据技术21.1.2 大数据技术框架31.1.3 大数据的特点31.1.4 大数据在各个行业中的应用41.1.5 大数据计算模式41.1.6 大数据与云计算、物联网的关系41.2 Hadoop简介51.2.1 Hadoop应用现状61.2.2 Hadoop简介与意义61.3 小结6第2章 Hadoop的安装与配置72.1 虚拟机的创建72.2 安装Linux系统10. 配置网络信息112.4 克隆服务器122.5 SSH免密码登录132.6 安装和配置JDK152.6.1 上传安装包152.6.2 安装JDK162.6.3 配置环境变量162.7 Hadoop环境变量配置162.7.1 解压缩Hadoop压缩包172.7.2 配置Hadoop的bin和sbin文件夹到环境变量中172.7.3 修改/etc/hadoop/hadoop-env.sh172.8 Hadoop分布式安装172.8.1 伪分布式安装172.8.2 完全分布式安装192.9 小结21第3章 Hadoop分布式文件系统2.1 DFS介绍2.1.1 什么是DFS2.1.2 DFS的结构2.2 HDFS介绍.2.1 HDFS的概念及体系结构.2.2 HDFS的设计.. HDFS的优点和缺点243.2.4 HDFS的执行原理243.2.5 HDFS的核心概念253.2.6 HDFS读文件流程273.2.7 HDFS写文件流程283.2.8 Block的副本放置策略293.3 Hadoop中HDFS的常用命令303.3.1 对文件的操作303.3.2 管理与更新313.4 HDFS的应用313.4.1 基于Shell的操作313.4.2 基于Java API的操作333.4.3 创建文件夹343.4.4 递归显示文件343.4.5 文件上传353.4.6 文件下载353.5 小结36第4章 基于Hadoop 3的HDFS高可用374.1 Hadoop 3.x的发展374.1.1 Hadoop 3新特374.1.2 Hadoop 3 HDFS集群架构384.2 Hadoop 3 HDFS完全分布式搭建394.2.1 安装JDK404.2.2 配置JDK环境变量404.. 配置免密码登录404.2.4 配置IP和主机名字映关系414.2.5 SSH免密码登录设置414.2.6 配置Hadoop 3.1.0424.3 什么是HDFS高可用474.3.1 HDFS高可用实现原理474.3.2 HDFS高可用实现484.4 搭建HDFS高可用504.4.1 配置ZooKeeper504.4.2 配置Hadoop配置文件524.4.3 将配置文件复制到节点上544.4.4 启动JN节点544.4.5 格式化554.4.6 复制元数据到node2节点上554.4.7 格式化ZKFC554.4.8 启动集群564.4.9 通过浏览器查看集群状态564.4.10 高可用测试574.5 小结58第2篇 Hadoop核心技术第5章 Hadoop的分布式协调服务——ZooKeeper605.1 ZooKeeper的核心概念605.1.1 Session会话机制605.1.2 数据节点、版本与Watcher的关联615.1.3 ACL策略615.2 ZooKeeper的安装与运行615.3 ZooKeeper服务器端的常用命令635.4 客户端连接ZooKeeper的相关操作645.4.1 查看ZooKeeper常用命令645.4.2 connect命令与ls命令655.4.3 create命令——创建节点655.4.4 get命令——获取数据与信息665.4.5 set命令——修改节点内容665.4.6 delete命令——删除节点675.5 使用Java API访问ZooKeeper675.5.1 环境准备与创建会话实例685.5.2 节点创建实例695.5.3 Java API访问ZooKeeper实例705.6 小结73第6章 分布式离线计算框架——MapReduce746.1 MapReduce概述746.1.1 MapReduce的特点746.1.2 MapReduce的应用场景756.2 MapReduce执行过程766.2.1 单词统计实例766.2.2 MapReduce执行过程776.. MapReduce的文件切片Split776.2.4 Map过程和Reduce过程786.2.5 Shuffle过程786.3 MapReduce实例796.3.1 WordCount本地测试实例796.3.2 ETL本地测试实例846.4 温度排序实例866.4.1 时间和温度的封装类MyKey.Java876.4.2 Map任务MyMapper.java886.4.3 数据分组类MyGroup.Java896.4.4 温度排序类MySort.java896.4.5 数据分区MyPartitioner.java906.4.6 Reducer任务MyReducer.java906.4.7 主函数RunJob.java916.5 小结94第7章 Hadoop的集群资源管理系统——YARN957.1 为什么要使用YARN957.2 YARN的基本架构967.2.1 ResourceManager进程967.2.2 ApplicationMaster和NodeManager977.3 YARN工作流程977.4 YARN搭建987.5 小结100第8章 Hadoop的数据仓库框架——Hive1018.1 Hive的理论基础1018.1.1 什么是Hive1018.1.2 Hive和数据库的异同1028.1.3 Hive设计的目的与应用1048.1.4 Hive的运行架构1048.1.5 Hive的执行流程1058.1.6 Hive服务1068.1.7 元数据存储Metastre068.1.8 Embedded模式1078.1.9 Local模式1088.1.10 Remote模式1098.2 Hive的配置与安装1098.2.1 安装MySL18.2.2 配置Hive1128.3 Hive表的操作1138.3.1 创建Hive表1148.3.2 导入数据1148.4 表的分区与分桶1158.4.1 表的分区1158.4.2 表的分桶1178.5 内部表与外部表1188.5.1 内部表1198.5.2 外部表1198.6 内置函数与自定义函数1218.6.1 内置函数实例121

温春水，于中国人民大学，获硕士。历任森途国信新工科研究院院长、大唐网络和三点一刻大数据技术总监，负责大数据技术架构。12年以上的IT从业经验，其中从事IT培训超过5年，直接授课学员超过3万人。受邀为燕山石化和中国石油等企业完成了Python及大数据技术企业内训；受聘面向哈尔滨工业大学、南开大学、天津大学、华南农业大学、山东科技大学、北京交通大学、西安交通大学、天津师范大学和北京航空航天大学等高校的生及讲授项目管理、需求分析、软件体系设计和项目开发等课程。

随着互联网的发展，人们日常工作和生活中产生的数据越来越多，伴随着信息的，大数据应运而生。分布式集群对大量数据的存储和分析处理有极大优势，因此Hadoop的各种技术得到了广泛应用和普及。大数据项目的开发除了需要扎实的理论基础外，还需要掌握Hadoop的搭建环境和运行部署方法，这样才能在大数据技术领域有更强的竞争力和职业发展前景。    目前市场上关于Hadoop的原理介绍和环境搭建的图书不少，但是真正从实战出发，通过“理论讲解→环境搭建→项目案例实战”这种符合初学者学习规律的科学编排体系的图书却不多。本书便是基于这一编排体系而写，以实战为主旨，通过Hadop的4个基础组件的相关模块和4个完整的项目实战案例，让读者在理解大数据原理的同时，完成Hadoop的环境搭建，并亲自动手实现书中的实战案例，提高开发水平和项目实战能力。    本书可以帮大数据开发人员充分了解当下流行的大数据技术和应用方法，从而在大数据项目中能更加自信、高效地完成项目开发。书中为有意涉猎大数据领域的人提供了详尽的指导，让他们能够更快、更好地掌握大数据的核心技术，并应用于项目实践，从而脱颖而出，顺利进军大数据行业。另外，本书也为大数据项目开发小组提供了可参考和借鉴的选拔大数据人才的技术标准。本书特色    1．提供了20小时同步配套教学视频，高效、直观    为了便于读者高效、直观地学习，笔者专门为本书重点内容录制了20小时同步配套教学视频。读者可以一边看书，一边结合教学视频进行学习，取得更好的学习效果。    2．对Hadoop开发做了基础上的准备    本书从一开始就对大数据的应用、特点和Hadoop的起源与发展做了基本介绍，并简要介绍了大数据的技术框架及Hadoop的核心构件，然后详细介绍了Hadoop的安装和配置步骤，便于读者理解后续章节中介绍的各种组件和案例。    3．全面涵盖Hadoop的各种核心技术    本书介绍了Hadoop的核心构件HDFS和MapReduce，并详细介绍了基于存储和计算的YARN、Hive、HBase、Flume、Sqoop、Kafka和Redis等大数据技术的原理、环境搭建步骤和整合应用示例。    4．模块驱动，实用强    本书介绍了Hadoop开发的14个典型模块，有很强的实用。这些模块都是Hadoop开发经常要用到的模块，开发人员可以随时查阅和参考。    5．详解4个高价值项目实战案例    本书介绍了4个项目实战案例，这些案例来源于大数据实际项目，有较高的参考价值和实际应用价值。这些案例用不同的大数据整合技术实现，读者稍加修改即可用于自己的实际项目中。通过这些实战案例，可以让读者对书中介绍的相关理论知识和技术细节有更加透彻的理解。    6．提供完善的售后服务    本书提供了专门的售后服务邮箱：hzbook2017@163.com。读者在阅读本书的过程中有任何疑问都可以通过该邮箱获得帮。    7．提供教学PPT，方便老师教学和学生学习    笔者专门为本书制作了专业的教学PPT，以方便相关院校的教学人员讲课时使用；读者也可以通过教学PPT，来提纲挈领地掌握书中的内容脉络。本书内容    篇 Hadoop基础知识（~4章）    章初识Hadoop，介绍了大数据的特点和在各行业的应用；阐述了大数据和云计算、物联网之间的关系；讲述了Hadoop的起源、发展和意义。    第2章Hadoop的安装与配置，介绍了Hadoop安装与配置的相关知识，主要包括虚拟机的创建、克隆服务器、SSH免密码登录、JDK安装、Hadoop环境变量配置及Hadoop分布式安装等。    第3章Hadoop分布式文件系统，主要介绍了Hadoop的分布式文件系统，包括HDFS的核心概念、读写文件的流程，以及HDFS基于Shell和Java API的操作。    第4章基于Hadoop 3的HDFS高可用，主要介绍了Hadoop 3.x的发展和HDFS的高可用实现原理，以及如何基于Hadoop 3搭建完全分布式和NameNode的高可用。    第2篇 Hadoop核心技术（5~5章）    第5章Hadoop的分布式协调服务——ZooKeeper，介绍了ZooKeeper的核心概念，包括Session、数据节点（Znode）、版本、Watcher和ACL等；还介绍了ZooKeeper的安装步骤、服务器端和客户端的相关命令，以及Java API访问ZooKeeper的多种操作。    第6章分布式离线计算框架——MapReduce，主要介绍了MapReduce的原理和应用知识，包括MapReduce的特点、应用场景、执行原理和测试实例。    第7章Hadoop的集群资源管理系统——YARN，比较了YARN和MapReduce的异同，并介绍了YARN集群资源管理系统的基本架构、工作流程和环境搭建步骤等。    第8章Hadoop的数据仓库框架——Hive，介绍了Hive的理论基础，以及Hive和数据库的异同、Hive设计目的与应用、Hive运行框架及执行原理；完成了Hive的环境搭建、内部表的创建、外部表的创建及数据操作；另外，还介绍了如何通过Java访问Hive及Hive的优化等相关内容。    第9章大数据快速读写——HBase，介绍了HBase列式数据库的体系架构、执行原理及安装步骤，还介绍了通过Shell操作HBase，以及基于Java API访问HBase实现数据增加和查询的相关内容。    0章海量日志采集工具——Flume，主要介绍了Flume的概念、特