正版新书]大数据开发实战 猿媛之家猿媛之家9787111756934

前言
环境搭建视频教程二维码清单
第1章大数据简介
1.1大数据的概述
1.2大数据的特点
1.3大数据的应用领域
1.4目前企业应用的主流大数据技术
1.5大数据开发流程
第2章大数据基础架构Hadoop
2.1Hadoop简介
2.2Hadoop架构详解
2.2.1分布式存储系统HDFS
2.2.2分布式资源管理框架YARN
2.2.3离线计算框架MapReduce
2.3HDFS读、写文件流程
2.3.1HDFS写文件流程
2.3.2HDFS读文件流程
2.4HDFS的实战操作
2.4.1HDFS上传文件
2.4.2HDFS创建文件
2.4.3HDFS创建目录
2.4.4HDFS重命名文件
2.4.5HDFS删除文件
2.5YARN原理
2.6YARN调度器详解
2.7MapReduce工作原理
2.8MapReduce核心的原理Shuffle
2.8.1Map端
2.8.2Reduce端
2.9MapReduce常用三大组件
2.9.1MapReduce中的Partitioner
2.9.2MapReduce中的Sort
2.9.3MapReduce中的Combiner
2.10MapReduce项目实战
2.10.1清洗日志
2.10.2统计电影最高评分
第3章分布式协调服务Zookeeper
3.1ZooKeeper简介
3.2ZooKeeper结构和工作原理
3.2.1ZooKeeper集群角色
3.2.2ZooKeeper的数据结构
3.2.3ZooKeeper的工作流程
3.2.4ZooKeeper的监听器
3.3ZooKeeper实战
3.3.1ZooKeeper创建持久节点
3.3.2ZooKeeper创建临时节点
3.3.3ZooKeeper递归创建节点
3.3.4ZooKeeper读取数据
3.3.5ZooKeeper更新数据
3.3.6ZooKeeper监听节点
3.3.7ZooKeeper监听子节点
3.3.8ZooKeeper实现服务注册与发现
第4章数据仓库Hive
4.1Hive简介和特点
4.2Hive结构和原理
4.2.1Hive结构
4.2.2Hive运行的流程
4.2.3Hive的HQL转换过程
4.3电商用户行为分析
4.3.1项目背景及目的
4.3.2数据导入
4.3.3数据清洗
4.3.4数据分析
第5章面向列的数据库HBase
5.1HBase简介
5.2HBase架构
5.2.1HBase的组件
5.2.2HBase工作机制
5.3HBase数据模型
5.4HBase读写流程
5.4.1HBase写操作流程
5.4.2HBase读操作流程
5.5HBase的API示例
5.5.1HBase创建表
5.5.2HBase保持数据
5.5.3HBase更新数据
5.5.4HBase获取数据
5.5.5HBase删除数据
5.5.6使用HBase获取某一行数据
5.6HBase存储订单案例
第6章大数据开发实战数据迁移工具Sqoop
6.1Sqoop架构和工作原理
6.1.1Sqoop导入原理
6.1.2Sqoop导出原理
6.2Sqoop将HDFS数据导入MySQL
6.3Sqoop将MySQL数据导入HDFS
第7章数据采集工具Flume
7.1Flume简介
7.2Flume构成和工作原理
7.2.1Flume构成
7.2.2Flume工作原理
7.3Flume实战
7.3.1Flume监听目录实战
7.3.2Flume一对多实战
7.3.3Flume拦截器实战
7.3.4Flume采集数据到HDFS
7.3.5Kafka对接Flume实战
第8章发布订阅消息系统Kafka
8.1Kafka 简介
8.2Kafka的消息生产者
8.2.1Kafka生产者的运行流程
8.2.2Kafka生产者分区
8.2.3副本的同步复制和异步复制
8.2.4Kafka消息发送确认机制
8.3Kafka的Broker保存消息
8.3.1存储方式与策略
8.3.2Topic创建与删除
8.4Kafka的消息消费者
8.4.1消费机制
8.4.2消费者组
8.5Kafka 的存储机制
8.5.1Kafka主题Topic
8.5.2Kafka分片Partition
8.5.3Kafka日志Segment File
8.6Kafka 实战
8.6.1Kafka发送消息
8.6.2Kafka自定义分区发送消息
8.6.3Spring Boot整合Kafka发送消息
第9章数据处理分析引擎Spark
9.1Spark 简介
9.2Spark 运行原理
9.2.1Spark的基本概念
9.2.2Spark运行的原理
9.2.3Driver运行在Client
9.2.4Driver运行在Worker节点
9.3Spark算子RDD
9.3.1RDD的属性
9.3.2RDD的依赖关系
9.3.3RDD的shuffle过程
9.3.4RDD的缓存和检查机制
9.4Spark SQL
9.4.1Spark SQL概念
9.4.2Spark SQL的架构
9.4.3DataSets和DataFrames
9.4.4Spark SQL示例
9.5Spark Streaming
9.5.1Spark Streaming介绍/9.5.2DStream转换操作
9.5.3Spark Streaming窗口操作
9.5.4DStream输入
9.5.5DStream 输出
9.5.6DSFrame和SQL操作
9.5.7Spark Streaming检查点
9.6Spark Streaming接收Flume数据实战
9.7Spark Streaming接收Kafka数据实战
第10章全文搜索引擎Elasticsearch
10.1Elasticsearch简介
10.2Elasticsearch架构和原理
10.2.1Elasticsearch核心概念
10.2.2Elasticsearch工作原理
10.2.3Elasticsearch倒排索引
10.3Elasticsearch实战
10.3.1Elasticsearch索引创建
10.3.2Elasticsearch索引更新
10.3.3Elasticsearch索引查询
10.3.4Elasticsearch索引删除
10.3.5Elasticsearch保存文档
10.3.6Elasticsearch更新文档
10.3.7Elasticsearch精确查询
10.3.8Elasticsearch模糊查询
10.3.9Elasticsearch范围查询
10.3.10Elasticsearch布尔查询
10.3.11Elasticsearch聚合查询
10.3.12Elasticsearch高亮查询
10.4Elasticsearch实现搜索系统
10.4.1搜索系统项目环境准备
10.4.2Elasticsearch实现搜索功能
第11章分布式处理引擎Flink
11.1Flink 概述
11.2Flink基本组件和运行时架构
11.2.1Flink运行时架构
11.2.2Flink的分层
11.3Flink流处理流程
11.3.1Flink环境设置(Environment)
11.3.2Flink源算子(Source)
11.3.3Flink支持的数据类型
11.3.4Flink 转换算子(Transform)
11.3.5Flink 输出算子(Sink)
11.4Flink窗口、时间和水位线
11.4.1Flink窗口(Window)
11.4.2Flink时间(Time)
11.4.3Flink水位线(Watermark)
11.5Flink状态管理
11.5.1Flink状态分类
11.5.2Flink状态后端
11.5.3Flink状态管理案例
11.6Flink 处理函数
11.6.1Flink处理函数
11.6.2Flink 侧输出流
11.7Flink容错机制
11.7.1Flink容错机制概要
11.7.2Flink 状态一致性
11.7.3Flink容错机制实战
11.8Flink 表和SQL
11.8.1Flink 表概述
11.8.2Flink 结构化函数
11.8.3Flink的SQL操作
11.9Flink复杂事件处理
11.9.1Flink CEP简介
11.9.2Flink CEP个体模式
11.9.3Flink CEP组合模式
11.9.4Flink CEP超时事件提取
第12章电商推荐系统实战
12.1推荐系统的概述
12.1.1推荐系统算法
12.1.2推荐系统的数据
12.2电商推荐系统架构
12.2.1电商推荐系统模块
12.2.2创建一个推荐项目
12.3加载数据模块
12.3.1模块介绍
12.3.2模块实现
12.4离线统计模块
12.4.1模块介绍
12.4.2模块实现
12.5离线推荐模块
12.5.1模块介绍
12.5.2模块实现
12.5.3离线推荐模型评估
12.6在线推荐模块
12.6.1模块介绍
12.6.2需求分析
12.6.3模块实现
第13章Flink实现电商用户行为分析
13.1电商用户行为实时分析系统概述
13.2电商用户行为分析系统架构
13.2.1电商用户行为分析系统模块介绍
13.2.2创建电商用户行为分析项目
13.3实时热门商品统计
13.3.1实时热门商品统计模块介绍
13.3.2实时热门商品统计模块实现
13.4实时流量统计
13.4.1实时热门页面统计介绍
13.4.2实时热门页面统计模块实现
13.4.3实时每小时访问量统计模块介绍
13.4.4实时每小时访问量统计模块实现
13.4.5实时用户访问量统计模块介绍
13.4.6实时用户访问量统计模块实现
13.5市场营销分析
13.5.1市场营销分析——市场推广统计模块介绍
13.5.2市场营销分析——市场推广统计模块实现
13.5.3市场营销分析——市场页面广告统计模块介绍
13.5.4市场营销分析——市场页面广告模块实现
13.6恶意登录监控
13.6.1恶意登录监控模块描述
13.6.2恶意登录监控模块实现
13.7订单支付实时监控
13.7.1订单支付实时监控模块介绍
13.7.2订单支付实时监控模块实现
13.8订单支付实时对账
13.8.1订单支付实时对账模块介绍
13.8.2订单支付实时对账模块实现

韦宇杰， 毕业于华南理工大学广州学院，获得了机械工程及自动化的学士学位，一位融合机械工程与自动化专业背景的资深程序员。
作为一名资深程序员，在大数据领域深耕多年，积累了丰富的实战经验。他精通从数据采集、清洗、存储到分析的全链条技术，擅长运用最前沿的工具和框架解决复杂的数据处理问题，让庞大的数据集在他的手中焕发出前所未有的价值。他的职业生涯跨越了多个领域，不仅在大数据处理和系统开发方面表现出色，更在算法设计和模型构建上拥有深厚的专业知识。
在数据处理、算法设计以及系统优化方面积累了丰富的经验。他曾参与华为的应用系统经营分析系统的研发工作，期间他充分发挥了自己的算法训练和模型设计能力，为项目的成功贡献了关键的技术支持。这段经历不仅证明了他在大数据处理领域的实力，也彰显了他在算法和模型构建方面的专业素养。
作为一位对技术充满热情的程序员，他深耕细作，苦练编程，善于总结，慢慢的形成了个人的编程风格，在数据处理、算法、系统布局等方面有自己独特的见解和处理方式。本书是作者多年工作经验的总结，以最贴近实际的案例帮助读者更容易，更轻松，更深入地了解大数据开发。

本书深入讲解大数据技术的核心概念和实际应用。
配套资源丰富，附赠
●长达13个小时的部分实例操作视频
●全书实例源代码
●电子版本教程
●PPT

本书深入探讨了大数据技术的核心概念和实际应用。从大数据的基础架构Hadoop开始，逐步解析了分布式协调服务Zookeeper、数据仓库Hive、面向列的数据库HBase等关键技术。此外，还介绍了数据迁移工具Sqoop、数据采集工具Flume、发布订阅消息系统Kafka等实用工具。本书还深入讲解了数据处理分析引擎Spark、全文搜索引擎Elasticsearch及分布式处理引擎Flink的工作原理和应用实例。最后,通过电商推荐系统实战和Flink实现电商用户行为分析两个案例，展示了大数据技术在实际业务中的应用。
本书附带全书实例源代码、电子版本教程（下载方式见封底），以及可扫码观看的长达13个小时的部分实例操作视频，帮助读者更深入了解大数据技术的具体内容，非常适合对大数据技术感兴趣的读者，尤其是想要深入了解大数据技术原理和应用的开发者和管理者阅读。