[正版新书]数据星河:构建现代化数据仓库之路 程志远 左岩 翟文麟 清华大学出版社 详细讲解数据仓库建设 数据研发 大数

本书以数据仓库建设内容为主线，以理论基础为核心，引导读者渐进式地学习数据仓库建设版图中所需知识。通过认识数据基建、数据质量、数据安全、实时技术、数据治理、数据资产、数据服务、数据应用等8个模块及常见遇到项目，使读者能够了解日常数据仓库开发流程及数据仓库工作具体内容，从而快速上手数据仓库建设工作。

本书共14章，分为基础篇、基建篇、应用篇、评价篇、展望篇。基础篇（第1章和第2章）介绍数据仓库框架和数据模型建设知识点；基建篇（第3~8章）详细讲述数据仓库中每个板块建设，由简入深剖析搭建背景及搭建中细节；应用篇（第9~11章）通过实战讲解，快速上手数据仓库常见项目；评价篇（第12章和第13章）结合数据仓库基建和项目，阐述完整数据仓库需要具备的条件，并补充评价体系指标；展望篇（第14章）结合当前AIGC应用衍生出数据仓库未来发展探索；本书示例代码丰富，实际性和系统性较强，并配有视频讲解，助力读者透彻理解书中的重点、难点。

本书适合初学者入门，也适合工作多年数据仓库开发者借鉴学习，亦可作为高等院校和培训机构相关专业的教学参考书。

程志远，前阿里巴巴数据技术及产品部下数据研发工程师，现某大型互联网公司数据仓库工程师，数据仓库全局版图规划者，全链路数据保障提出者及建设者，主导过2021阿里巴巴某业务线双十一实时链路建设，能够对多场景业务线提供解决架构方案。

左岩，中国电信股份有限公司技术专家，有着多年的数据领域从业经验，擅长实时数据、数据治理、数据分析等方面的设计与实施。Apache Flink、Apache Doris、Flink CDC 、StarRocks、Fluss等开源项目Contributor，对于流式计算、实时数仓等技术有深入的研究。

翟文麟，曾担任美团点评、京东等互联网大厂资深数据研发工程师。负责部门数据架构制定与规划，参与集团数据治理与数据应用的规划和制定。从业务角度出发，将数据转化为资产，最终实现技术价值。

本书旨在为广大读者提供全面、系统、实用的数据仓库建设参考和指导。无论是从事数据仓库设计和管理的专业人士，还是具备基本数据库知识的技术爱好者都能够从本书中找到适合自己的学习和实践路径，助力企业走向数据驱动的未来。

CONTENTS

目录

本书源码

基础篇

第1章认识数据仓库00

1.1大数据在如今社会中的运用00

1.2大数据相关岗位介绍00

1.2.1数据仓库岗位介绍00

1.2.2数据平台岗位介绍00

1.2.3数据分析岗位介绍00

1.2.4数据产品岗位介绍00

1.2.5数据挖掘岗位介绍00

1.3大数据在企业中的组织架构00

1.3.1数据中台00

1.3.2业务线数据00

1.4数据仓库岗在大数据生态中的定位00

1.4.1数据仓库概念00

1.4.2数据仓库定位00

1.5数据仓库发展史00

1.5.1数仓1.0传统数据仓库时代00

1.5.2数仓2.0 Hadoop生态时代00

1.5.3数仓3.0云端及数据平台时代00

1.5.4数仓4.0湖仓一体时代00

1.6数据仓库建设内容简介00

1.6.1数据仓库建设版图0

1.6.2数据基建简介0

1.6.3数据资产简介0

1.6.4数据服务简介 0

1.6.5数据应用简介0

1.7数据仓库架构介绍0

1.7.1Lambda架构0

1.7.2HSAP架构0

1.7.3流批一体架构0

1.7.4Doris架构0

1.8数据仓库所使用的技术栈0

第2章数据仓库模型建设0

2.1OLTP与OLAP0

2.1.1什么是OLTP0

2.1.2什么是OLAP0

2.1.3OLTP与OLAP的区别0

2.2数据仓库分层0

2.2.1数据仓库分层原理0

2.2.2数据仓库分层内容0

2.3数据仓库模型介绍0

2.4数据仓库模型建设方法0

2.4.1三范式建模与维度建模介绍0

2.4.2三范式建模与维度建模区别0

2.5数据模型建设的具体流程0

2.5.1数据模型设计的基本原则0

2.5.2数据模型设计过程0

2.5.3数据模型建设五要素0

2.6数据域与主题域0

2.7事实表设计0

2.7.1事实表类型0

2.7.2三类事实表区别0

2.7.3全量和增量0

2.7.4拉链表0

2.7.5完整的数据模型内容案例0

2.8数据标准介绍0

2.8.1数据模型命名规范0

2.8.2数据模型命名词根0

2.8.3字段命名规范0

2.8.4字段类型规范0

2.8.5数据模型元数据规范0

2.8.6数据模型分区生命周期0

2.9数据模型发展周期0

2.10数据模型分层新式方法0

基建篇

第3章元数据0

3.1元数据定义及分类0

3.1.1元数据定义0

3.1.2元数据分类0

3.2元数据模型0

3.2.1确定元数据对象0

3.2.2确定元数据属性0

3.2.3确定元数据关系0

3.2.4创建元数据模型0

3.3元数据管理0

3.3.1元数据采集与收集0

3.3.2元数据存储0

3.3.3元数据维护0

3.3.4元数据使用0

3.4元数据管理工具0

3.5数据血缘0

3.5.1数据血缘功能0

3.5.2数据血缘类型0

第4章数据指标体系0

4.1数据指标概念0

4.2数据指标分类0

4.2.1按用途分类0

4.2.2按计算方法分类0

4.2.3按时间范围分类0

4.3数据指标设计0

4.3.1明确目标0

4.3.2选择方法0

4.3.3确保一致性0

4.3.4词根分类0

4.4数据指标的应用场景0

4.4.1数据明细报表0

4.4.2数据可视化图0

4.4.3数据挖掘0

4.4.4指标监控0

4.5数据指标中心建设0

4.5.1数据指标中心建设的目的0

4.5.2数据指标中心解决的痛点问题0

4.5.3数据指标中心建设流程0

第5章数据质量0

5.1数据质量背景0

5.1.1数据质量概念0

5.1.2数据质量存在的痛点问题0

5.2数据质量保障措施0

5.2.1制定数据模型及指标的上线变更规范0

5.2.2数据质量监控0

5.2.3数据基线及SLA0

5.2.4容灾备份快速恢复能力0

5.2.5数据问题上报平台0

5.2.6源头数据质量长期监测跟踪体系0

5.3推动上下游开展数据质量建设活动0

5.3.1数据仓库发展期0

5.3.2数据仓库成熟期0

5.4数据质量思考0

第6章数据安全0

6.1数据安全背景0

6.2数据安全实施难点0

6.2.1数据安全要做什么0

6.2.2数据安全现状梳理0

6.2.3数据安全保障方向0

6.3数据安全保障流程0

6.3.1角色权限管理0

6.3.2数据使用权限管理0

6.3.3数据模型分级0

6.3.4数据展示0

6.3.5数据风险预期管理0

6.3.6数据脱敏0

6.4数据安全实施阶段0

6.4.1早期数据安全实施0

6.4.2成熟期数据安全实施0

6.5数据安全思考0

第7章数据治理0

7.1数据治理背景0

7.1.1合规治理0

7.1.2资源治理0

7.2数据仓库发展阶段0

7.3数据治理内容0

7.3.1数据模型合规治理0

7.3.2数据质量合规治理0

7.3.3数据安全合规治理0

7.3.4存储资源治理0

7.3.5计算资源治理0

7.3.6小文件治理

7.4推动上下游开展数据治理活动方法

7.5数据治理思考与沉淀

第8章实时技术

8.1实时数据仓库搭建背景

8.2实时架构及组件

8.2.1实时数据仓库架构

8.2.2实时数据仓库组件

8.3实时开发流程

8.4实时链路优化

8.5实时技术产出量化

应用篇

第9章数据资产

9.1数据资产介绍

9.2风险名单数据资产(消费金融业务)

9.2.1项目背景

9.2.2项目流程介绍

9.2.3项目流程

9.2.4项目难点

9.2.5项目思考

9.3各场景下用户画像体系建设

9.3.1用户画像介绍

9.3.2项目背景

9.3.3项目流程介绍

9.3.4项目流程

9.3.5项目难点

9.3.6项目思考

第10章数据服务

10.1数据服务介绍

10.1.1数据服务概念

10.1.2当前数据应用时存在的痛点问题

10.2数据服务建设内容

10.2.1指标中心

10.2.2标签画像管理平台

10.2.3数据资产门户

10.2.4数据质量中心

10.2.5数据安全中心

10.2.6数据模型设计中心

10.2.7OneID

10.2.8数据治理360

10.3数据服务建设周期

10.3.1探索期

10.3.2扩张期

第11章数据应用

11.1数据应用介绍

11.2神策明星榜数据(视频行业业务)

11.2.1项目背景

11.2.2项目流程介绍

11.2.3项目流程

11.2.4项目难点

11.2.5项目思考

11.3员工离职动因专项分析(人力资源业务)

11.3.1项目背景

11.3.2业务视角分析

11.3.3项目流程

11.3.4项目思考

11.4征信系统专题分析

11.4.1项目背景

11.4.2项目流程

11.4.3项目产出

11.4.4项目思考

评价篇

第12章评价数据仓库的好坏

12.1数据质量层面评估

12.1.1数据质量问题产生的原因

12.1.2数据质量评估方法

12.2数据模型层面评估

12.2.1数据模型问题产生的原因

12.2.2数据模型评估方法

12.3数据安全层面评估

12.3.1数据安全问题产生的原因

12.3.2数据安全评估方法

12.4数据成本及性能层面评估

12.4.1数据成本过高及性能过低的原因

12.4.2数据成本及性能层面评估方法

第13章数据价值

13.1抽象的数据能力架构

13.1.1数据传输能力

13.1.2数据计算能力

13.1.3数据资产能力

13.1.4数据算法能力

13.2数据能力对数据价值的呈现

13.3数据价值对业务的帮助

13.3.1用户增长/经营性分析

13.3.2数据质量/产出稳定

13.3.3查数/用数提效

13.3.4降低部门支出

展望篇

第14章AIGC对数据发展的影响

14.1数据与AI的关系

14.2网易ChatBI介绍

14.3网易ChatBI功能

14.3.1需求理解能力

14.3.2提供用户所需内容的预测能力

14.3.3多轮对话能力

14.3.4图表绘制能力

14.3.5多端互通能力

14.3.6过程可验证能力

14.3.7用户可干预能力

14.4数据产品未来规划

14.4.1网易ChatBI产品未来规划

14.4.2其他数据产品未来规划