正版 企业级数据架构 核心要素 架构模型 数据管理与平台搭建 李杨 著 平安集团首席架构师 978711174682

商品名称：

企业级数据架构：核心要素、架构模型、数据管理与平台搭建

作      者：

市  场 价：

ISBN  号：

出版日期：

页      数：

开      本：

出  版 社：

 机械工业出版社

序

自序

前言

第一部分 架构基础

第1章 企业架构概述 3

1.1 企业架构 4

1.2 Zachman框架 4

1.2.1 Zachman框架的维度 4

1.2.2 Zachman框架的特点 5

1.2.3 Zachman框架的使用 6

1.3 TOGAF 6

1.3.1 TOGAF完善架构过程 7

1.3.2 框架核心：ADM 8

1.4 业务架构 9

1.4.1 业务架构的价值 9

1.4.2 业务架构的关键点 10

1.5 数据架构 11

1.5.1 数据架构设计 12

1.5.2 数据架构核心组成 12

1.6 总结 13

第二部分 数据架构基础

第2章 数据架构构成 18

2.1 数据模型 18

2.2 元数据 19

2.3 数据质量 20

2.4 数据标准 21

2.5 数据治理 21

2.6 数据资产 22

2.6.1 数据管理 22

2.6.2 数据仓库 22

2.6.3 数据湖 23

2.6.4 数据资产内涵 23

2.7 数据生命周期 24

2.7.1 数据创建 25

2.7.2 数据使用 25

2.7.3 数据归档 26

2.7.4 数据销毁 26

2.8 数据分布 27

2.8.1 数据存储 27

2.8.2 数据访问 27

2.9 常见数据架构技术选型 28

2.9.1 Lambda 28

2.9.2 Kappa 29

2.10 数据调度 30

2.11 总结 30

第3章 数据存储 31

3.1 数据存储基础 32

3.1.1 计算机组成基础结构 32

3.1.2 数据存储核心概念 35

3.1.3 OLTP与OLAP场景 37

3.2 集中式数据库 38

3.2.1 常见关系型数据库 38

3.2.2 分库分表 39

3.3 分布式数据库 40

3.3.1 大规模并行处理技术 40

3.3.2 分布式事务 41

3.4 大数据存储 43

3.4.1 HDFS 43

3.4.2 Yarn 44

3.4.3 Hive 44

3.4.4 HBase 45

3.4.5 Spark及Spark Streaming 46

3.5 特定领域存储 46

3.5.1 ClickHouse 46

3.5.2 Elasticsearch 48

3.6 实时计算阶段 49

3.7 总结 49

第4章 数据调度与消息传输 50

4.1 通用技术选型 50

4.2 Airflow调度平台 52

4.2.1 Airflow基础概念 52

4.2.2 Airflow架构 54

4.2.3 Airflow与其他调度平台对比 55

4.3 DataX数据同步工具 56

4.3.1 DataX基础概念 56

4.3.2 DataX数据同步 57

4.3.3 DataX优化 59

4.3.4 DataX与其他数据同步工具对比 60

4.4 Kafka消息中间件 62

4.4.1 Kafka基础概念 62

4.4.2 Kafka架构概述 63

4.4.3 Kafka高性能原理 63

4.4.4 Kafka与其他中间件对比 67

4.5 总结 68

第5章 Lambda架构与Kappa架构 69

5.1 架构演进 69

5.1.1 传统数据仓库架构 70

5.1.2 传统大数据架构 71

5.1.3 流式计算架构 72

5.1.4 Lambda架构 73

5.1.5 Kappa架构 74

5.2 Lambda架构详解 75

5.2.1 架构解析 76

5.2.2 核心组件 78

5.2.3 数据流向 81

5.3 Kappa架构详解 82

5.3.1 架构解析 82

5.3.2 核心组件 85

5.3.3 数据流向 87

5.4 Lambda与Kappa对比 87

5.5 流批一体化 89

5.6 总结 90

第6章 辅助类应用体系介绍 91

6.1 资源管理 91

6.1.1 开源堡垒机JumpServer 92

6.1.2 部署与负载均衡 92

6.1.3 核心概念 94

6.1.4 最佳实践 95

6.2 资源及组件监控 95

6.2.1 开源监控系统Prometheus 96

6.2.2 可视化系统Grafana 98

6.2.3 告警模块AlertManager 100

6.2.4 小结 101

6.3 应用监控 102

6.3.1 应用链路监控Pinpoint 102

6.3.2 原理与组件介绍 103

6.3.3 最佳实践 104

6.3.4 小结 106

6.4 日志监控 107

6.4.1 ELK 107

6.4.2 直连式日志收集架构 107

6.4.3 高并发日志收集架构 108

6.5 总结 109

第三部分 数据架构模型实践

第7章 企业数据区与数据流向 113

7.1 数据区概述 113

7.2 数据区详解 115

7.2.1 操作型数据区 115

7.2.2 集成型数据区 116

7.2.3 分析型数据区 117

7.2.4 历史数据区 118

7.3 企业数据流向 119

7.3.1 操作型数据区数据流向 119

7.3.2 集成型数据区数据流向 120

7.3.3 分析型数据区数据流向 121

7.3.4 历史数据区数据流向 122

7.4 企业数据分层 123

7.5 企业集成型数据区层级 124

7.5.1 数据缓冲层 125

7.5.2 数据贴源层 126

7.5.3 标准模型层 127

7.5.4 整合模型层 127

7.5.5 数据集市层 128

7.6 互联网公司的集成型数据区分层特点 129

7.7 总结 130

第8章 数据模型架构详解 131

8.1 为什么要建模 132

8.2 建模策略 134

8.2.1 数据缓冲层建模策略 135

8.2.2 数据贴源层建模策略 135

8.2.3 标准模型层建模策略 136

8.2.4 整合模型层建模策略 136

8.2.5 数据集市层建模策略 137

8.3 建模三步走 137

8.3.1 第一步：概念模型 138

8.3.2 第二步：逻辑模型 139

8.3.3 第三步：物理模型 140

8.4 建模方法论 141

8.4.1 范式的概念 142

8.4.2 范式建模? 145

8.4.3 维度建模 146

8.4.4 范式建模与维度建模对比 146

8.5 常见模型概述 147

8.5.1 星型模型 147

8.5.2 雪花模型 149

8.5.3 星座模型 150

8.6 数据层级与数据模型的关系 151

8.7 总结 152

第9章 维度建模解析 153

9.1 维度建模概述 153

9.1.1 维度与事实 154

9.1.2 维度建模目标 155

9.1.3 维度建模局限 155

9.2 维度建模总线结构 156

9.2.1 总线矩阵 157

9.2.2 一致性维度 157

9.2.3 一致性事实 159

9.3 维度详解 159

9.4 缓慢变化维度 162

9.4.1 缓慢变化维度的作用 163

9.4.2 缓慢变化维度的处理方式 164

9.4.3 小结 167

9.5 事实表详解 167

9.6 事务型事实表 170

9.6.1 事务型事实表概述 170

9.6.2 事务型事实表处理 171

9.6.3 事实表处理拓展 172

9.7 总结 172

第四部分?数据资产管理

第10章 元数据管理 178

10.1 元数据概述 178

10.2 元数据的产生 179

10.3 不同类型元数据详解 182

10.3.1 技术元数据 183

10.3.2 业务元数据 185

10.3.3 管理元数据 185

10.4 元数据的价值 187

10.4.1 大数据时代前 187

10.4.2 大数据时代后 188

10.5 元数据的应用 189

10.5.1 血缘分析 189

10.5.2 影响分析 190

10.6 元数据的生命周期 191

10.7 元数据管理体系构建 191

10.7.1 元数据采集模块 192

10.7.2 元数据分析模块 192

10.7.3 元数据管理模块 192

10.7.4 元数据访问模块 192

10.8 总结 193

第11章 数据质量管理 194

11.1 数据质量概述 194

11.2 数据质量内涵 195

11.3 数据质量管理框架 196

11.3.1 事前防范 196

11.3.2 事中监控 197

11.3.3 事后治理 198

11.4 数据质量核心维度 200

11.4.1 完备性 200

11.4.2 唯一性 201

11.4.3 及时性 201

11.4.4 有效性 201

11.4.5 准确性 202

11.4.6 一致性 202

11.5 数据质量规则体系 203

11.5.1 业务规则体系 203

11.5.2 技术规则体系 204

11.6 数据质量评估 206

11.6.1 数据质量评估算法 206

11.6.2 数据质量基线报告 208

11.6.3 数据质量趋势报告 209

11.7 总结 210

第12章 数据标准管理 211

12.1 数据标准概述 211

12.2 数据标准内涵 212

12.3 数据标准体系设计框架 213

12.3.1 数据标准的原则 213

12.3.2 数据标准的调研 214

12.3.3 数据标准的确定 217

12.3.4 数据标准的评估 219

12.4 数据标准管理流程 219

12.4.1 数据标准的制定 220

12.4.2 数据标准的审核与发布 221

12.4.3 数据标准的执行 221

12.4.4 数据标准的变更 222

12.4.5 数据标准的审查 222

12.5 数据标准的挑战 223

12.6 数据标准与数据质量的关系 224

12.7 总结 226

第13章 数据治理 227

13.1 为什么需要数据治理 227

13.1.1 烟囱系统 228

13.1.2 数字化转型 228

13.1.3 数据治理的作用 229

13.2 数据治理内涵 229

13.2.1 数据治理内容 229

13.2.2 数据治理范围 230

13.3 数据治理核心准则 232

13.3.1 确定范围 233

13.3.2 融入团队 233

13.3.3 由点到面 234

13.3.4 团结业务 234

13.3.5 主动沟通 235

13.3.6 定期汇报成果 235

13.4 数据治理通用流程 236

13.4.1 准备阶段 237

13.4.2 设计阶段 239

13.4.3 运营阶段 241

13.5 数据治理的挑战 242

13.6 总结 243

第14章 数据资产管理与数据资产目录 244

14.1 数据资产内涵 245

14.1.1 数据相关概念 245

14.1.2 数据资产构成 247

14.2 数据资产管理活动职能 253

14.3 数据资产目录实践 254

14.3.1 数据目录与数据资产目录 254

14.3.2 数据资产目录构建 255

14.4 总结 260

第五部分?数据架构实践

第15章 离线计算 263

15.1 离线计算架构概述 263

15.2 架构设计 264

15.3 软件部署 265

15.3.1 JDK部署 265

15.3.2 Hadoop部署 266

15.3.3 Hive部署 273

15.3.4 Sqoop部署 279

15.4 模型设计 281

15.4.1 数据存储层模型设计 282

15.4.2 数据贴源层模型设计 284

15.4.3 标准模型层模型设计 287

15.4.4 整合模型层模型设计 288

15.4.5 数据集市层模型设计 289

15.5 数据处理 291

15.5.1 源系统数据同步 291

15.5.2 数据贴源层数据处理 294

15.5.3 标准模型层数据处理 295

15.5.4 整合模型层数据处理 296

15.5.5 数据集市层数据处理 297

15.6 离线计算数据应用 298

15.7 总结 299

第16章 实时计算 300

16.1 实时计算架构概述 300

16.2 架构设计 301

16.3 软件部署 303

16.3.1 Flume部署 303

16.3.2 Kafka部署 304

16.3.3 Flink部署 307

16.4 连通性配置 310

16.4.1 Flume与Kafka 311

16.4.2 Kafka与Flink 314

16.5 实时计算层 315

16.5.1 数据层级设计 315

16.5.2 实时计算开发 316

16.5.3 实时数据应用 322

16.6 总结 322

第17章 对数字未来的展望 324

17.1 建设数字中国 324

17.2 金融行业的数字化转型 325

17.3 数据架构核心 326

17.4 数据开发趋势 326

17.5 DataOps发展 327

17.6 总结 328

这是一部从企业架构视角系统讲解企业级数据架构的著作，包含数据架构的原理、方法和实践。

本书拟分为四个部分共17个章节来系统性的阐述数据架构相关内容；

第1部分 架构基础主要包含1个章节

1.数据架构与企业架构 其主要从宏观的角度阐述企业架构与数据架构的关系以及重要性使读者明白数据架构并不是孤立存在的且与企业架构息息相关

第2部分 数据架构基础主要包含5个章节从理论以及工具层面阐述数据架构的构成

2.数据架构构成 介绍数据架构的主要组成以及框架

3.数据存储 数据架构落地中常见的存储选型以及实用场景

4.数据调度与消息传输 数据架构中调度服务以及消息传输的通用技术选型以及可能出现的关键问题以及优化手段

5.Lambda架构与Kappa架构 系统性的阐述主流的两种数据架构以及使用场景

6.辅助类组件 数据架构中帮助测试以及运维人员精准的定位问题的相关辅助组件，例如日志收集、系统监控以及APM等

第3部分 数据架构实践 基于大量的业务实践，总结数据架构实践中核心组组成以及关键方法进行拆解

7.企业数据区域以及流向 以不同的维度去拆解企业的数据，帮助读者构建数据架构的落地层面的意识，知道为什么拆以及如何去拆 

8.模型架构详解 以主流的两种建模方法论为切入点，讨论并对比优劣并让读者拓展模型设计中的工具箱。

9.模型设计 以维度建模为例，详细的介绍不同数据层级、不同类型数据的建模方法，具体案例来源于大量的模型实践

10.元数据 了解什么是元数据及其重要性以及如何管理数据

11.数据质量 基于数据质量去设计数据质量监控体系，做好事前防范、事后治理

12.数据标准 构建数据标准框架以及流程，挖掘具体数据标准落地在企业中的难度。

第4部分 数据资产管理

13.企业数据资产 企业数据资产的构成以及搭建路径以及工具等

14.数据治理 结合元数据、数据质量以及数据标准等，系统的阐述数据治理类型项目的落地

15.大数据平台实践 如何一步一步搭建基于Hadoop大数据平台

16.实时数据仓库搭建 如何构建企业级别的实施数据仓库

17.本书总结 总结写书的感悟以及后续的一些想法等