云计算与大数据技术理论及应用 林伟伟,彭绍亮 著 大中专 文轩网

第1章绪论
1.1分布式计算概念
1.1.1定义
1.1.2优缺点
1.1.3经典的分布式计算项目
1.2分布式计算模式
1.2.1单机计算
1.2.2并行计算
1.2.3网络计算
1.2.4对等计算
1.2.5集群计算
1.2.6网格计算
1.2.7云计算
1.2.8雾计算
1.2.9边缘计算
1.2.10大数据计算
1.3CAP定理
1.3.1CAP定理历史
1.3.2CAP定理应用
1.3.3CAP问题的实例
习题
第2章分布式计算编程基础
2.1进程间通信
2.1.1进程间通信概念
2.1.2IPC原型与示例
2.2Socket编程
2.2.1Socket概述
2.2.2流式Socket编程
2.3RMI编程
2.3.1RMI概述
2.3.2RMI基本分布式应用
2.4P2P编程
习题
第3章云计算原理与技术
3.1云计算概述
3.1.1云计算起源
3.1.2云计算的概念与定义
3.1.3云计算与分布式计算
3.1.4云计算分类
3.2云计算关键技术
3.2.1体系结构
3.2.2数据存储
3.2.3计算模型
3.2.4资源调度
3.2.5虚拟化
3.3Google云计算原理
3.3.1GFS
3.3.2MapReduce
3.3.3BigTable
3.3.4Dremel
3.4亚马逊云服务
3.4.1亚马逊云平台存储架构
3.4.2EC2、S3、SimpleDB等组件
3.5基于亚马逊云的大数据分析案例
3.5.1亚马逊云平台存储架构
3.5.2亚马逊云的Web服务器日志大数据分析案例
3.6阿里云
3.6.1飞天开放平台架构
3.6.2开放云计算服务ECS
3.6.3开放存储服务OSS和CDN
3.6.4开放结构化数据服务OTS
3.6.5关系型数据库（RDS）
3.6.6开放数据处理服务（ODPS）
习题
第4章云计算编程实践
4.1CloudSim体系结构和API介绍
4.1.1CloudSim体系结构
4.1.2CloudSim 3.0 API介绍
4.2CloudSim环境搭建和使用方法
4.2.1环境配置
4.2.2运行样例程序
4.3CloudSim扩展编程
4.3.1调度策略的扩展
4.3.2仿真核心代码
4.3.3平台重编译
4.4CloudSim的编程实践
4.4.1CloudSim任务调度编程
4.4.2CloudSim网络编程
4.4.3CloudSim能耗编程
4.5MultiRECloudSim
4.5.1MultiRECloudSim体系结构和原理
4.5.2MultiRECloudSim的API
4.5.3MultiRECloudSim的使用方法
4.6云环境任务调度编程实践
4.6.1云计算的资源管理
4.6.2云任务调度模拟实验
习题
第5章云存储技术
5.1存储基础知识
5.1.1存储组网形态
5.1.2RAID
5.1.3磁盘热备
5.1.4快照
5.1.5数据分级存储概念
5.2云存储概念与技术原理
5.2.1分布式存储
5.2.2存储虚拟化
5.3对象存储技术
5.3.1对象存储架构
5.3.2传统块存储与对象存储
5.3.3对象
5.3.4对象存储系统组成
5.4存储技术趋势
5.4.1存储虚拟化
5.4.2固态硬盘
5.4.3重复数据删除
5.4.4语义化检索
5.4.5存储智能化
5.4.6混合存储系统
习题
第6章大数据技术原理与平台
6.1大数据概述
6.1.1大数据产生的背景
6.1.2大数据的定义
6.1.3大数据的4V特征
6.2大数据存储平台
6.2.1HDFS
6.2.2HBase
6.2.3Cassandra
6.2.4Redis
6.2.5MongoDB
6.3大数据计算模式
6.3.1MapReduce
6.3.2Spark
6.3.3流式计算
6.4典型大数据分析管理平台
6.4.1Cloudera Impala
6.4.2Hortonworks Data Platform
6.4.3HadoopDB
6.5大数据并行计算编程实践
6.5.1基于MAPREDUCE程序实例(HDFS)
6.5.2基于MAPREDUCE程序实例(HBase)
6.5.3基于Spark的程序实例
6.5.4基于Impala的查询实践
6.6大数据研究与发展方向
6.6.1数据的不确定性与数据质量
6.6.2跨领域的数据处理方法的可移植性
6.6.3数据处理的时效性保证——内存计算
6.6.4对于流式数据的实时处理
6.6.5大数据应用
6.6.6大数据发展趋势
习题
第7章实时医疗大数据分析案例
7.1案例背景与需求概述
7.1.1背景介绍
7.1.2基本需求
7.2设计方案
7.2.1ETL
7.2.2非格式化存储
7.2.3流处理
7.2.4训练模型与结果预测
7.3环境准备
7.3.1节点规划
7.3.2软件选型
7.4实现方法
7.4.1使用Kettle/Sqoop等ETL工具，将数据导入HDFS
7.4.2基于Spark Streaming开发Kafka连接器组件
7.4.3基于Spark MLlib开发数据挖掘组件
7.5不足与扩展
习题
第8章保险大数据分析案例
8.1案例背景与需求概述
8.1.1背景介绍
8.1.2基本需求
8.2设计方案
8.2.1基于GraphX的并行家谱挖掘算法
8.2.2基于分片技术的随机森林算法
8.2.3基于内存计算的FPGrowth关联规则挖掘算法
8.3环境准备
8.4实现方法
8.4.1基于GraphX的并行家谱挖掘
8.4.2基于分片技术的随机森林模型用户推荐
8.4.3基于FPGrowth关联规则挖掘算法的回归检验
8.4.4结果可视化
8.5不足与扩展
习题
第9章基于Spark聚类算法的网络流量异常检测
9.1基本需求与数据说明
9.1.1基本需求
9.1.2数据说明
9.2设计方案
9.2.1聚类问题描述
9.2.2系统整体架构和算法设计
9.2.3数据预处理
9.2.4聚类算法
9.2.5聚类质量评估算法
9.2.6检测算法
9.3实现方法和程序设计
9.3.1搭建Spark集群实验平台
9.3.2程序运行说明
9.3.3数据预处理
9.3.4基于R的数据分析和可视化
9.3.5聚类算法
9.3.6聚类质量评估
9.3.7异常检测
9.4结果展示
9.4.1Spark平台说明与作业提交演示
9.4.2聚类算法及其质量评估
9.4.3有效性分析
9.4.4示例说明
9.5展望
习题
第10章基于Hadoop的宏基因组序列比对计算
10.1相关背景介绍与基本需求
10.1.1相关背景
10.1.2基本需求
10.2设计方案
10.2.1串行程序分析
10.2.2并行程序设计
10.3实现方法
10.3.1自定义Hadoop Streaming Inputformat
10.3.2修改SOAPaligner程序的输入文件函数
10.4环境建立和实验数据说明
10.4.1案例环境
10.4.2实验数据
10.5结果展示
10.5.1测试方法
10.5.2测试结果和分析
习题
第11章基于细胞反应大数据的生物效应评估计算
11.1相关背景介绍与基本需求
11.1.1相关背景
11.1.2基本需求
11.2设计方案
11.2.1基本思路
11.2.2设计框架
11.3环境建立和实验数据说明
11.3.1案例环境
11.3.2实验数据
11.4实现方法
11.4.1算法分析
11.4.2基因谱两两比对——富集积分矩阵并行化计算
11.4.3基因谱聚类分析——KMedoids算法并行化
11.5结果展示
11.5.1基因谱两两比对——计算富集积分矩阵实验分析
11.5.2基因谱聚类实验分析
习题
第12章基于Spark的海量宏基因组聚类问题分析计算
12.1相关背景介绍与基本需求
12.1.1相关背景
12.1.2基本需求
12.2问题分析与设计方案
12.2.1问题分析
12.2.2设计方案
12.3实现方法
12.3.1基于Spark的相似基因对问题的实现
12.3.2利用LSH加速相似基因对算法
12.3.3基因图的生成
12.3.4图的基本性质分析
12.3.5基因图聚类
12.4环境建立和实验数据说明
12.4.1案例环境
12.4.2实验数据
12.5结果展示
12.5.1LSH方法准确度分析
12.5.2可扩展性分析和加速效果分析
12.5.3基因图顶点的度分布和连通性分析
12.5.4基因图聚类结果分析
12.5.5总结
习题
参考文献