全新正版云数据平台:设计、实现与管理9787111712046机械工业

前言
致谢
引言
章　数据平台介绍1
1.1　从数据仓库向数据平台转变背后的趋势2
1.2　数据仓库与数据的多样、规模和速度3
1.2.1　多样3
1.2.2　规模4
1..　速度5
1.2.4　所有的V同时出现5
1.3　数据湖6
1.4　云来了7
1.5　云、数据湖、数据仓库：云数据平台的出现9
1.6　云数据平台的构建块9
1.6.1　摄取层10
1.6.2　存储层10
1.6.3　处理层11
1.6.4　服务层13
1.7　云数据平台如何处理这三个V14
1.7.1　多样14
1.7.2　规模14
1.7.3　速度15
1.7.4　另外两个V15
1.8　常见用例16
第2章　为什么是数据平台而不仅仅是数据仓库18
2.1　云数据平台和云数据仓库的实践19
2.1.1　近距离观察数据源20
2.1.2　云数据仓库—纯架构示例21
2.1.3　云数据平台架构示例22
2.2　摄取数据24
2.2.1　将数据直接摄取到Azure Synapse24
2.2.2　将数据摄取到Azure数据平台25
2..　管理上游数据源的变化26
.　处理数据28
..1　处理数据仓库中的数据29
..2　处理数据平台上的数据31
2.4　访问数据32
2.5　云成本方面的考虑34
2.6　练习36
第3章　不断壮大并利用三巨头：Amazon、Microsoft Azure和Google37
3.1　云数据平台分层架构38
3.1.1　数据摄取层40
3.1.2　快存储和慢存储43
3.1.3　处理层45
3.1.4　技术元数据层47
3.1.5　服务层和数据消费者48
3.1.6　编排层和ETL覆盖层52
3.2　数据平台架构中层的重要57
3.3　将云数据平台层映到特定工具59
3.3.1　AWS61
3.3.2　Google Cloud65
3.3.3　Azure70
3.4　开源和商业替代方案73
3.4.1　批量数据摄取74
3.4.2　流数据摄取和实时分析74
3.4.3　编排层75
3.5　练习77
第4章　将数据导入平台78
4.1　数据库、文件、API和流79
4.1.1　关系型数据库80
4.1.2　文件81
4.1.3　通过API的SaaS数据81
4.1.4　流82
4.2　从关系型数据库中摄取数据83
4.2.1　使用SL接口从RDBMS摄取数据83
4.2.2　全表摄取85
4..　增量表摄取90
4.2.4　变更数据捕获94
4.2.5　CDC供应商概述98
4.2.6　数据类型转换100
4.2.7　从NoSL数据库摄取数据102
4.2.8　为RDBMS或NoSL摄取管道捕获重要的元数据104
4.3　从文件中摄取数据107
4.3.1　跟踪已摄取的文件109
4.3.2　捕获文件摄取元数据112
4.4　从流中摄取数据113
4.4.1　批量摄取和流摄取的区别117
4.4.2　捕获流管道元数据118
4.5　从SaaS应用程序摄取数据119
4.5.1　没有标准的API设计方法121
4.5.2　没有标准的方法来处理全数据导出和增量数据导出121
4.5.3　结果数据通常是高度嵌套的JSON122
4.6　将数据摄取到云中需要考虑的网络和安全问题122
4.7　练习125
第5章　组织和处理数据126
5.1　在数据平台中作为单独的层进行处理127
5.2　数据处理阶段129
5.3　组织你的云存储130
5.4　通用数据处理步骤137
5.4.1　文件格式转换137
5.4.2　重复数据清除142
5.4.3　数据质量检查147
5.5　可配置的管道149
5.6　练习152
第6章　实时数据处理和分析153
6.1　实时摄取与实时处理154
6.2　实时数据处理用例156
6.2.1　用例：实时摄取156
6.2.2　线上游戏用例：实时摄取和实时处理158
6..　实时摄取与实时处理的总结160
6.3　什么时候应该使用实时摄取或实时处理161
6.4　为实时使用组织数据163
6.4.1　对快存储的解剖163
6.4.2　快存储是如何扩展的166
6.4.3　在实时存储中组织数据168
6.5　通用的实时数据转换173
6.5.1　实时系统中数据重复的原因173
6.5.2　实时系统中的数据重复清除176
6.5.3　在实时管道中转换消息格式181
6.5.4　实时数据质量检查182
6.5.5　将批量数据与实时数据相结合183
6.6　用于实时数据处理的云服务184
6.6.1　AWS实时处理服务185
6.6.2　Google Cloud实时处理服务186
6.6.3　Azure实时处理服务188
6.7　练习190
第7章　元数据层架构191
7.1　元数据是什么192
7.1.1　业务元数据192
7.1.2　数据平台内部元数据或管道元数据193
7.2　利用管道元数据193
7.3　元数据模型197
7.4　元数据层实现选项207
7.4.1　元数据层作为配置文件的集合207
7.4.2　元数据数据库210
7.4.3　元数据API212
7.5　现有的解决方案概述214
7.5.1　云元数据服务214
7.5.2　开源元数据层实现216
7.6　练习220
第8章　模式管理221
8.1　为什么要进行模式管理222
8.1.1　传统数据仓库架构中的模式变化222
8.1.2　读时模式方法2
8.2　模式管理方法225
8.2.1　模式即契约226
8.2.2　数据平台中的模式管理228
8..　监控模式变化4
8.3　模式注册表实现5
8.3.1　Apache Avro模式
8.3.2　现有的模式注册表实现
8.3.3　模式注册表作为元数据层的一部分
8.4　模式演化场景240
8.4.1　模式兼容规则242
8.4.2　模式演化和数据转换管道244
8.5　模式演化和数据仓库247
8.6　练习252
第9章　数据访问和安全253
9.1　不同类型的数据消费者254
9.2　云数据仓库255
9.2.1　AWS Redshift256
9.2.2　Azure Synapse259
9..　Google Bigery262
9.2.4　选择正确的数据仓库265
9.3　应用程序数据访问266
9.3.1　云关系型数据库267
9.3.2　云键–值数据存储268
9.3.3　全文检索服务269
9.3.4　内存缓存269
9.4　数据平台上的机器学习270
9.4.1　云数据平台上的机器学习模型生命周期271
9.4.2　ML云协作工具274
9.5　商业智能和报表工具275
9.5.1　传统的BI工具与云数据平台的集成275
9.5.2　使用Excel作为一种BI工具276
9.5.3　云提供商外的BI工具276
9.6　数据安全277
9.6.1　用户、组和角色277
9.6.2　凭和配置管理278
9.6.3　数据加密278
9.6.4　网络边界278
9.7　练习280
0章　利用数据平台提升业务价值281
10.1　为什么需要数据策略281
10.2　分析成熟度之旅283
10.2.1　看：从数据中获得洞见284
10.2.2　预测：使用数据来预测要做什么285
10..　做：让分析具有可操作26
10.2.4　创造：分析进入产品287
10.3　数据平台：推动分析成熟度的引擎287
10.4　阻碍平台项目的因素289
10.4.1　时不待人289
10.4.2　用户采用290
10.4.3　用户信任与数据治理需求291
10.4.4　在平台孤岛中操作291
10.4.5　美元之舞292

丹尼尔·兹布里夫斯基（Danil Zburivsky），他的整个职业生涯都在为全球企业设计和支持大规模数据基础设施。10多年前，他在IT服务公司Pythian开始了自己的职业生涯，为多家大型互联网公司管理开源数据库系统。他是Hadoop的早期拥护者，在管理一个设计和实现大规模Hadoop分析基础设施的团队时，撰写并出版了一本关于Hadoop集群部署很好实践的书。他预见到公有云将对数据基础设施产生的影响，因此是云数据服务的早期采用者，并为全球数十家企业在三大公有云平台上构建和实现了基于云的现代数据平台。

本书介绍如何设计既可伸缩又足够灵活的云数据平台，以应对不可避免的技术变化。你将了解云数据平台设计的核心组件，以及Spark和Kafka流等关键技术。你还将探索如何设置流程来管理基于云的数据、确保数据的安全，并使用高级分和工具对数据进行分析。本书旨在帮企业通过现代云数据平台使用所有数据的业务集成视图，并利用优选的分析实践来驱动预测和数据服务。本书总结了不同的数据消费者如何使用平台中的数据，并讨论了影响云数据平台项目成功的常见业务问题。