正版 云计算和大数据技术:概念、应用与实战 王鹏,李俊杰,谢志明

第1章 1
云计算基础　1
1.1　云计算技术概述　1
1.1.1　云计算简介　1
1.1.2　云计算的特点　2
1.1.3　云计算技术分类　3
1.1.4　计算机技术向现代信息技术演进的历程　4
1.2　集群系统概述　5
1.2.1　集群系统的基本概念　5
1.2.2　集群系统系统的分类　6
1.3　分布式系统中计算和数据的协作机制　6
1.3.1　基于计算切分的分布式计算　6
1.3.2　基于计算和数据切分的混合型分布式计算技术—网格计算　7
1.3.3　基于数据切分的分布式计算技术　8
1.3.4　三种分布式系统的分析对比　10
1.4　云计算平台服务　11
1.4.1　IAAS（基础设施即服务）　11
1.4.2　PAAS（平台即服务）　11
1.4.3　SAAS（软件即服务）　11
1.5　云计算与物联网　11
练习题　13
第2章　1
大数据基础　1
2.1　大数据技术概述　1
2.1.1　大数据简介　1
2.1.2　大数据产生的原因　1
2.1.3　数据的计量单位　2
2.1.4　大数据是人类认识世界的新手段　3
2.1.5　几类高性能计算系统对比分析　4
2.1.6主要的大数据处理系统　4
2.1.7　大数据处理的基本流程　6
2.2　大数据的典型应用示例　7
2.2.1　大数据在高能物理中的应用　7
2.2.2　推荐系统　8
2.2.3　搜索引擎系统　8
2.2.4　百度迁徙　9
2.3　大数据中的集群技术　10
1.2.2　集群文件系统的基本概念　10
2.3.1　什么是集群系统　11
2.3.2　大数据并行计算的层次　13
2.3.3　大数据系统的分类方法　14
2.3.3　单一系统映象　15
2.3.4　集群中的一致性　15
2.4　云计算与大数据的发展　17
2.4.1　云计算与大数据发展历程　17
2.4.2　为云计算与大数据发展做出贡献的科学家　20
2.4.3　云计算与大数据的国内发展现状　21
练习题　22
第3章　1
虚拟化技术　1
3.1　虚拟化技术简介　1
3.1.1　虚拟化技术的发展　1
3.1.2　虚拟化技术的优势和劣势　2
3.1.3　虚拟化技术的分类　3
3.2　常见虚拟化软件　6
3.2.1　VirtualBox　6
3.2.2　VMware Workstation　6
3.2.3　KVM　6
3.3　系统虚拟化　7
3.3.1　服务器虚拟化　8
3.3.2　桌面虚拟化　10
3.3.3　网络虚拟化　13
3.4　任务 使用KVM构建虚拟机群　13
3.4.1　子任务1 系统环境设置　13
3.4.2　子任务2 安装虚拟化软件包　15
3.4.3　子任务3 虚拟系统管理器的使用　16
3.4.4　子任务4 虚拟机的远程访问　19
练习题　21
第4章　1
虚拟化平台　1
４.1　XenServer　1
４.1.1　XenServer优点　2
４.1.2　XenServer硬件要求　2
4.2　任务 XenServer部署　3
4.2.1　子任务1 XenServer的安装　3
4.2.2　子任务2 XenCenter的安装　7
4.2.3　子任务3 制作模板　10
4.2.4　子任务4 创建虚拟机　16
4.3　VMware vSphere　19
4.3.1　VMware vSphere体系结构　19
4.3.2　VMware vSphere组件及其功能　21
4.3.3　VMware vSphere硬件要求　22
4.4　任务 vSphere部署　24
4.4.1　子任务1 ESXi的安装　24
4.4.2　子任务1 vSphere Client的安装　26
练习题　33
第5章　1
面向计算—MPI　1
5.1　MPI概述　1
5.2　MPI的架构和特点　2
5.3　任务一 MPICH并行环境的建立　3
5.3.1　子任务1 系统环境设置　3
5.3.2　子任务2 用户创建和ssh设置　4
5.3.3　子任务3 NFS服务的安装　5
5.3.4　子任务4 MPICH编译运行　5
5.4　任务二 MPI分布式程序设计　7
5.4.1　子任务1 简单并行程序的编写　7
5.4.2　子任务2 获取进程标志和机器名　9
5.4.3　子任务3 有消息传递功能的并行程序　12
5.4.4　子任务4 Monte Carlo法在并行程序设计中的应用　16
5.4.5　子任务5 并行计算中节点间的Reduce操作　19
5.4.6　设计MPI并行程序时的注意事项　21
练习题　22
第6章　1
分布式大数据系统　1
—Hadoop　1
6.1　Hadoop概述　1
6.2　HDFS　2
6.1.1　Google文件系统（GFS）　2
6.2.2　HDFS文件的基本结构　4
6.2.3　HDFS的存储过程　5
6.2.4　YARN架构　6
6.3　任务一 搭建Hadoop系统　7
6.3.1　子任务1 系统环境设置　7
6.3.2　子任务2 用户创建和ssh设置　8
6.3.3　子任务3 Hadoop安装和配置　9
6.3.4　子任务4 Hadoop的启动和查看　13
6.4　分布式计算框架MapReduce　14
6.4.1　MapReduce的发展历史　14
6.4.2　MapReduce的基本工作过程　15
6.4.3　MapReduce的特点　18
6.5　任务二 Map/Reduce的C语言实现　19
6.6　任务三 在Hadoop系统运行MapReduce程序　22
练习题　23
第7章　1
分布式数据库—HBase　1
7.1　HBase　1
7.1.1　HBase简介　1
7.1.2　HBase物理模型　2
7.1.3　HBase架构及基本组件　3
7.1.4　HBase组织结构　5
7.2　任务 HBase的搭建与使用　5
7.2.1　子任务1 HBase环境的搭建　6
7.2.2　子任务2 HBase的启动　8
7.2.3　子任务2 HBase Shell的使用　9
7.2.4　子任务3 HBase编程　10
练习题　20
第8章　1
数据仓库平台—Hive　1
8.1　Hive　1
8.1.1　Hive简介　1
8.1.2　Hive的体系结构　2
8.1.3　Hive元数据存储　3
8.1.4　Hive的数据存储　5
8.1.5　Hive和普通关系型数据库的差异　6
8.2　任务一 MySQL的搭建　7
8.3　任务二 Hive的搭建与使用　9
8.2.1　子任务1 Hive环境的搭建　9
8.2.2　子任务2 Hive Client的搭建　12
8.2.3　子任务3 Hive的基本操作　13
8.2.4　子任务4 Hive内部表与外部表的操作　14
8.2.5　子任务5 HWI的使用　16
8.2.6　子任务6 Beeline与JDBC编程　18
8.2.7　子任务6 Hive与HBase集成　23
练习题　26
第9章　1
基于拓扑的流数据实时计算系统—Storm　1
9.1　Storm简介　1
9.2　Storm原理及其体系结构　2
9.2.1　Storm编程模型原理　2
9.2.2　Storm体系结构　3
9.2.3　ZooKeeper工作原理　4
9.3　任务一 搭建Storm开发环境　5
9.3.1　子任务1 系统环境设置　5
9.3.2　子任务2 安装Python工具包　7
9.3.3　子任务3 安装ZeroMQ和JZMQ工具包　7
9.3.4　子任务4 安装Zookeeper工具包　8
9.3.5　子任务5 安装Storm工具包　10
9.3.6　子任务6 复制工具包　11
9.3.7　子任务7 Storm的启动　12
9.4　任务二 Storm使用实例　13
9.4.1　子任务1 安装Maven工具包　13
9.4.2　子任务2 使用Maven管理storm-starter　15
9.4.3　子任务3 WordCountTopology实例分析　16
练习题　21
第10章　1
云存储系统—Swift　1
10.1　云存储概述　1
10.1.1　什么是云存储　1
10.1.2　云存储的分类　1
10.1.3　云存储的特点　2
10.1.4　存储系统类别　3
10.2　Swift简介　4
10.2.1　Swift的发展历程　4
10.2.2　Swift 的特性　4
10.2.3　Swift工作原理　4
10.2.4　CAP理论　5
10.2.5　环的数据结构　6
10.2.6　Swift的系统架构　7
10.3　任务 Swift安装部署　9
10.3.1　子任务1 系统环境设置　9
10.3.2　子任务2 安装keystone　10
10.3.3　子任务3 安装proxy　14
10.3.4　子任务4 安装存储节点　17
练习题　21

王鹏，男，教授，生于1975年，中国科学院博士生导师，计算机科学博士后、金融工程博士后，第八批四川省学术和技术带头人后备人选，中组部“西部之光”访问学者，中国电子学会云计算专业委员会委员，中国计算机学会高性能计算专业委员会委员，四川省计算机学会高性能计算专业委员会委员，成都市科技攻关计划项目评审专家，汕尾市科技顾问团首席科学家，成都市“一专多能”优秀青年教师，成都信息工程学院并行计算研究所主任。《走近云计算》、《云计算-中国未来的IT战略》、《云计算的关键技术与应用实例》、《问道云计算》等书作者。

本书全面介绍云计算与大数据的基础知识、主要技术、基于集群技术的资源整合型云计算技术和基于虚拟化技术的资源切分型云计算技术。全书共10章，主要内容包括云计算基础与大数据基础、虚拟化技术和平台、MPI、Hadoop、HBase、Hive、Storm和云存储系统Swift。本书以理论够用为主，注重实用，实验丰富，将实验内容融合在课程内容中，使理论紧密联系实际。

云计算与大数据时代，网络技术人员学习和参考的工具书。 本书是高等职业院校十二五规划教材； 内容系统讲解，深入浅出；采用项目任务式； 用实战教学，注重入门并提高，边做边学。