数据分析与大数据应用 陈思华,齐亚伟,杨海文 著 大中专 文轩网

目录
第1章  大数据分析技术概述  1
1.1  大数据的内涵  1
1.1.1  数据的概念  1
1.1.2  大数据的概念  2
1.1.3  大数据的分类  3
1.1.4  大数据的特征  4
1.1.5  常见的大数据应用场景  5
1.2  大数据时代企业管理决策面临的挑战  7
1.2.1  数据分析人才不足  8
1.2.2  数据分析的局限性  8
1.2.3  传统观念根深蒂固  8
1.2.4  数据安全存在隐患  9
1.2.5  未形成有效的大数据思维  9
1.3  大数据对企业管理决策的影响  9
1.3.1  优化决策环境  9
1.3.2  提高决策能力  9
1.3.3  改变决策模式  10
1.3.4  提升决策技术  10
1.3.5  完善知识管理  10
1.3.6  改变决策文化  11
1.4  常见的大数据分析技术  11
1.4.1  数据采集  12
1.4.2  数据存储与管理  14
1.4.3  数据预处理  14
1.4.4  数据分析与挖掘  15
1.4.5  数据可视化  19
1.5  大数据分析工具介绍  20
1.5.1  Hadoop简介  20
1.5.2  Stata简介  21
1.5.3  R简介  21
1.5.4  Python简介  22
本章小结  25
第2章  大数据的采集  26
2.1  网络爬虫介绍  26
2.2  网络爬虫应用  27
2.2.1  网络爬虫的基本结构及工作流程  28
2.2.2  抓取策略  29
2.3  网络爬虫程序Web Scraper  30
2.3.1  Web Scraper的下载与安装  30
2.3.2  Web Scraper的菜单介绍  31
2.4  案例分析  32
2.4.1  案例分析一：爬取同花顺股票交易信息  32
2.4.2  案例分析二：爬取豆瓣电影Top250的数据  35
2.4.3  案例分析三：爬取百度学术的文献信息  37
2.5  网络爬虫的边界  40
2.5.1  数据的采集途径  40
2.5.2  数据的采集行为  41
2.5.3  数据的使用目的  41
本章小结  43
第3章  文献检索与可视化分析  44
3.1  文献检索  44
3.1.1  文献计量学的建立  44
3.1.2  文献检索方法  45
3.1.3  常用的文献检索工具  45
3.1.4  常用的文献检索技巧  47
3.1.5  检索文献导出操作  49
3.2  文献计量学的分析原理  51
3.3  文献可视化分析  52
3.3.1  VOSviewer的下载与使用  52
3.3.2  VOSviewer的文献可视化分析方法  53
3.4  案例分析  55
3.4.1  数据库文献的导出  55
3.4.2  VOSviewer的数据导入  56
3.4.3  VOSviewer中的作者合作分析  58
3.4.4  VOSviewer中的文献耦合分析  64
3.4.5  VOSviewer中的共被引分析  67
本章小结  72
第4章  线性回归分析  74
4.1  回归分析概述  74
4.1.1  回归分析的基本概念  74
4.1.2  总体回归函数  75
4.1.3  随机干扰项  77
4.1.4  样本回归函数  78
4.1.5  大数据时代对传统回归分析的冲击  80
4.2  线性回归模型  80
4.2.1  线性回归模型的概述  80
4.2.2  线性回归模型的基本假设  81
4.2.3  线性回归模型的参数估计  84
4.2.4  参数估计量的统计性质  87
4.2.5  线性回归模型的统计检验  89
4.2.6  线性回归模型的预测  94
4.3  非线性模型的线性化  96
4.3.1  模型的类型与变换  96
4.3.2  非线性模型的线性化实例  97
4.4  含有虚拟变量的线性模型  101
4.4.1  含有虚拟变量的模型  101
4.4.2  虚拟变量的引入  101
4.5  案例分析  107
本章小结  111
第5章  Logit回归  112
5.1  Logit回归概述  112
5.1.1  线性概率模型  112
5.1.2  Logit模型的构建  112
5.2  Logit回归的估计方法  114
5.2.1  优选似然估计法的原理  114
5.2.2  Logit模型的优选似然估计  116
5.3  Logit回归的解释  116
5.3.1  边际效应  116
5.3.2  回归系数的经济意义  117
5.4  Logit回归的评价  118
5.4.1  拟合优度  118
5.4.2  似然比检验  118
5.4.3  预测概率  119
5.5  案例分析  120
本章小结  127
第6章  主成分分析  129
6.1  主成分分析的基本原理  129
6.1.1  主成分分析的基本思想  129
6.1.2  主成分分析的基本理论  130
6.1.3  主成分分析的几何意义  130
6.2  总体主成分分析  132
6.2.1  从协方差矩阵求解主成分  132
6.2.2  总体主成分分析的主要性质  133
6.2.3  主成分的个数  136
6.2.4  从相关系数矩阵出发求解主成分  138
6.3  样本主成分分析  139
6.3.1  样本主成分的定义与性质  139
6.3.2  主成分的计算步骤  141
6.4  有关问题的讨论  142
6.4.1  关于由协方差矩阵或相关系数矩阵出发求解主成分  142
6.4.2  主成分分析不要求数据来自正态总体  142
6.4.3  主成分分析与重叠信息  143
6.5  案例分析  144
本章小结  153
第7章  聚类分析  154
7.1  聚类分析概述  154
7.1.1  数值变量的相似性测度  154
7.1.2  名义变量的相似性测度  155
7.2  基于层次的聚类方法  156
7.2.1  层次聚类法概述  156
7.2.2  最短距离法  156
7.2.3  最长距离法  158
7.2.4  类间平均法  159
7.2.5  类间重心法  159
7.2.6  离差平方和法  159
7.3  基于划分的聚类方法  159
7.3.1  均值聚类法概述  160
7.3.2  均值聚类法实例  160
7.4  案例分析  163
本章小结  171
第8章  神经网络  172
8.1  神经元网络  172
8.1.1  神经元模型概述  172
8.1.2  激活函数  173
8.2  感知机与多层网络  174
8.2.1  感知机  174
8.2.2  多层网络  175
8.3  误差逆传播算法  176
8.3.1  误差逆传播算法概述  176
8.3.2  误差逆传播算法公式推导  176
8.3.3  误差逆传播算法工作流程  178
8.3.4  过拟合问题  179
8.4  全局最小与局部最小  179
8.5  深度学习  181
8.6  案例分析  182
本章小结  191
第9章  决策树  193
9.1  决策树模型与学习  193
9.1.1  决策树模型  193
9.1.2  决策树与if-then规则  194
9.1.3  决策树与条件概率分布  194
9.1.4  决策树学习  195
9.2  决策树的特征选择  196
9.2.1  特征选择问题  196
9.2.2  信息增益  198
9.2.3  信息增益比  200
9.2.4  基尼指数  201
9.3  决策树的剪枝  201
9.3.1  预剪枝  202
9.3.2  后剪枝  202
9.4  决策树的生成  204
9.4.1  ID3算法  204
9.4.2  C4.5算法  205
9.4.3  CART算法  205
9.4.4  CART生成  206
9.5  案例分析  210
9.5.1  数据处理  210
9.5.2  决策树模型建立  212
9.5.3  决策树剪枝  214
本章小结  217
第10章  随机森林  218
10.1  集成学习  218
10.1.1  集成学习概述  218
10.1.2  集成学习分类  219
10.2  Bagging算法  219
10.2.1  自助法  219
10.2.2  Bagging算法的具体流程  220
10.3  随机森林算法介绍  221
10.3.1  随机森林概述  221
10.3.2  随机森林的优缺点  221
10.4  模型评估  221
10.4.1  查准率、查全率与  221
10.4.2  ROC与AUC  223
10.5  案例分析  225
10.5.1  iris数据集简介  225
10.5.2  R语言操作  225
本章小结  228
参考文献  230