正版新书]数据中台:让数据用起来付登坡,江敏,任寅姿,孙少忆等9

赞誉

作者简介

前言

章 数据中台：信息化的下一站1

1.1 数据中台产生的大背景2

1.2 数据中台的3个核心认知11

1.3 数据中台的3个发展阶段13

1.4 开启信息化的下一站16

第2章 什么是数据中台20

2.1 解码数据中台22

2.2 数据中台的4个核心能力24

. 数据中台需要厘清的2个概念29

2.4 数据中台VS现有信息架构32

2.5 数据中台的业务价值与技术价值34

第3章 数据中台建设与架构39

3.1 持续让数据用起来的价值框架40

3.2 数据中台建设方42

3.3 数据中台架构53

3.4 中台手记（一）：我说服老板立项了57

第4章 数据中台建设的评估与选择62

4.1 企业数据应用的成熟度评估63

4.2 企业数据中台建设的应用场景75

4.3 中台手记（二）：打仗前手里得有一张“粮草”清单79

第5章 数据汇聚联通：打破企业数据孤岛82

5.1 数据采集、汇聚的方法和工具83

5.2 数据交换产品90

5.3 数据存储的选择94

第6章 数据开发：数据价值提炼工厂102

6.1 数据计算能力的4种类型104

6.2 离线开发110

6.3 实时开发117

6.4 算法开发120

6.5 中台手记（三）：选一个适合自己的技术平台真的很重要132

第7章 数据体系建设136

7.1 数据体系规划137

7.2 贴源数据层建设——全域数据统一存储140

7.3 统一数仓层建设——标准化的数据底座144

7.4 标签数据层建设——数据价值魅力所在157

7.5 应用数据层建设——灵活支撑业务需求179

7.6 中台手记（四）：即将开启的数据淘金之旅183

第8章 数据资产管理189

8.1 数据资产的定义和3个特征190

8.2 数据资产管理现状和挑战191

8.3 数据资产管理的4个目标192

8.4 数据资产管理在数据中台架构中的位置193

8.5 数据治理194

8.6 数据资产管理与数据治理的关系201

8.7 数据资产管理职能202

8.8 数据资产管理效果评估4

8.9 数据资产管理的7个成功要素

8.10 中台手记（五）：家里的这点家底可得管好了242

第9章 数据服务体系建设245

9.1 补全数据应用的“公里”246

9.2 4种常见的数据服务249

9.3 3种常见的数据应用262

9.4 数据服务背后的产品技术274

9.5 中台手记（六）：解决“数据应用公里”问题280

0章 数据中台运营机制284

10.1 数据中台运营效果评估模型285

10.2 数据中台运营的4个价值切入点287

10.3 数据资产运营291

10.4 数据成本运营316

10.5 数据中台运营的实践经验325

10.6 数据中台运营的要素与口诀330

10.7 中台手记（七）：让数据用起来331

1章 数据安全管理335

11.1 数据安全面临的挑战336

11.2 贯穿数据全生命周期的数据安全管理体系344

11.3 大数据平台安全管理技术手段348

11.4 中台手记（八）：数据安全！数据安全！数据安全！357

附录 6大行业解决方案架构图359

数澜科技

数澜科技成立于 2016 年 6 月，秉持“让企业的数据用起来”的使命，致力于成为客户信赖的数据应用基础设施供应商。2019 年初，跻身“杭州准独角兽企业”榜。

自成之起，数澜团队即坚持以“数据中台”作为核心战略构建和培养团队，建成以数据科学家、数据产品专家、数据咨询专家及数据可视化专家为核心的数据科技研发团队，核心成员来自阿里、华为等企业，拥有大数据业务和技术多年实战经验，是早一批大数据服务创新实践者。

目前，数澜已为万科、方太、兴业银行、百果园、中信云网、时尚集团、温州检察院、喜茶、视源股份等多家行业头部企业和客户，提供了数据中台建设和数据资产开发服务，并基于数栖帮企业持续挖掘数据资产，赋能业务创新。

数澜官网：www.dtwave.com

公众号：dtwave0620

付登坡（花名：天湛）

大数据专家，数澜科技联合创始人&地产事业部总经理

有10余年?数据领域从业经验，擅长数据建模、海量数据产品架构设计与实现。原阿?巴巴集团?数据专家，曾在阿里集团负责消费者数据标签体系、DMP平台等大数据项?设计与实施。2015年以创始人身份组建阿?巴巴集团的“11维数据创新工作室”，探索数据创新与数据商业化。

2016年6?离职，联合创办数澜科技，在数澜科技先后负责技术部、咨询服务部、地产事业部。

江敏（花名：江敏）

大数据专家，数澜科技联合创始人&CTO

有10年大数据平台规划、数据安全交换使用、数据应用场景建设方面的实践经验。曾任职于阿里数据平台事业部、阿里云数据事业部，负责阿里数据能力及平台的行业客户赋能，-Mapping体系能力构建及服务化的核心参与者，并打造行业的数据共享交换，数据交易模式早期探索者。

数澜科技联合创始人，负责管理公司产品技术团队，为客户输出构建和经营数据中台的能力，基于数据中台建设的实践经验，带领团队打造一站式数据应用基础设施-数栖，并完成实施多家行业龙头客户基于数栖的数据中台建设。

任寅姿（花名：影姿）

数据产品专家，数澜科技创新事业部总经理

曾任数据产品专家、数据创新梧桐工作室负责人等。对大数据资产设计、资产服务、资产应用在实践的基础上形成了一套完整的数据标签类目体系方；擅长对各种复杂业务场景进行需求拆解、数据抽象和数据应用建模，关注于采用大数据方法切实解决场景痛点提升业务效率。

孙少忆（花名：守正）

数字化转型咨询专家，数澜科技战略副总裁

20年企业信息化工作经验,积累信息化内部运营、解决方案销售及交付等领域实践经验。拥有MBCI、CISSP-ISSMP、CGEIT、COBIT5、ITILExpert、P3O等国际专业资质。曾任职华为ICT规划咨询部，面向企业、提供“以数据为核心，聚焦业务场景和价值”的流程信息化与数字化转型规划和落地咨询业务。

武凯（花名：行竹）

数据产品专家，数澜科技COO

有10余年数据产品经验，曾任集团数据平台产品与运营部负责人，是营销、和医疗健康等领域数据应用的探索实践者，专注于企业大数据资产化及应用增值。

沈金（花名：铁平）

数据业务架构专家，数澜科技解决方案总监

10余年数据行业经验，擅长业务架构、数据架构、技术架构的规划和落地实施。曾在阿?巴巴担任DBA，后参与阿里数据中台建设，拥有用户识别、标签设计、动态数据组织多个发明专利。

2017年加入数澜科技，负责解决方案团队，推动数据中台在、地产、金融、集团等客户案例落地。

蔣珍波（花名：乐天）

大数据咨询专家，数澜科技咨询专家

15年信息化和大数据行业从业经验，具备广阔的知识面，丰富的咨询经验，擅长创造地为客户提供解决方案，尤其擅长数据治理方面的咨询规划和产品设计，服务过数十家和大中型企业客户。

“一切业务数据化，一切数据业务化”，回顾几十年的中国企业信息化发展历程，就是“业务数据化”的过程——企业持续在IT方面进行投入和建设，不断将发展过程中业务和经营管理端的各种能力以数据形态沉淀下来。而接下来的“数据业务化”则是将已经成为资产的数据作为生产资料融入业务价值的创造过程，使之持续产生价值。 但是随着DT时代的来临，一路高歌、突飞猛进的企业信息化建设却开始出现诸多发展瓶颈和痛点。 首先，随着信息化的深入，在传统烟囱式IT建设方式下，企业独立采购或者自建的各种企业信息系统，在内部形成诸多数据孤岛；而在互联网、移动互联网背景下，服务号、小程序、O2O平台等新模式下产生的外部数据与传统系统的内部数据无法互通，这进一步加剧了数据孤岛问题……系统多样和多态，增加了企业IT架构的复杂度。 其次，随着多云环境的出现，硬件基础设施从IT 时代的服务器演变成DT时代的“云”，多数企业将选取多云策略，以避免被单一云厂商锁定，且多云的使用可以让企业IT架构更灵活、更符合自身情况。但这也让企业IT架构变得更为复杂，底层数据的互联互通成为困扰企业发展的痛点之一。 因此在传统企业底层IT架构下，新旧IT系统中沉淀的数据之间难以打通，而在多云环境中，企业内外部数据亦难以快速连接。分散各处难以融合的数据，无法很好地支撑企业经营决策，也无法很好地应对快速变化的前端业务，如何突破发展瓶颈，构建适应的企业IT架构，以阿里、华为等为首的国内很好公司开始提出“数据中台”的概念。 在笔者们看来，数据中台是企业数字化转型的必然产物。在企业IT架构日益复杂的今天，亟须通过一套机制，联通传统 IT 架构和各类数据，融合新老模式，整合孤岛数据，沉淀数据资产，快速形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台。 DT时代数据中台的使命是“让数据持续用起来”，它的一个根本创新就是把“数据资产”作为一个基础要素独立出来，将成为资产的数据作为生产资料融入业务价值创造过程，提供推动企业发展源源不断的生产力。 笔者们认为，数据中台作为整个企业各个业务所需数据服务的提供方，通过自身的平台能力和业务对数据的不断滋养（业务数据化），会形成一套高效可靠的数据资产体系和数据服务能力（数据资产化和资产服务化）。这样当出现新的市场变化，需要构建新的前台应用时，数据中台可以迅速提供数据服务（服务业务化），从而敏捷地响应企业的创新。业务产生数据，数据服务业务，业务在阳，数据在阴，阴阳互补，形成闭环。 值得一提的是，数据中台不仅仅是一种技术平台，倘若仅停留于此，就完全忽略了从T到T的本质变化是“围绕数据资产进行价值的持续积累和释放”。单纯增大技术投入和人才投入无法保障企业经营效能的持续提升，只有站在数据价值观和方的高度，才可能系统解决企业经营发展中关于数据的诸多问题。谁能率先解决面向数字经济特征的全新数据价值观和方的问题，并在其指引下打造平级能力，谁就能真正意义上帮企业把数据用起来。 因此，本书重点落笔于数据中台建设方体系的阐述，这也是笔者们多年大数据领域从业经验以及多个数据中台建设经验总结所得。希望这套数据中台建设方能为计划进行数字化转型，或已经在数字化转型之路上奋力前行的企业决策者、业务推动者和执行者，提供认知升级的有益借鉴，帮企业结合自身特点，在战略规划牵引下，从组织、保障、准则、内容、步骤等五个层面全面考虑，建立起一套可持续运行的中台建设机制，以保障数据中台建设实施如期完成，从而加速企业的数字化转型进程。 2019年是数据中台爆发的元年，笔者们认为，数据中台必将依循从概念引爆到迭代试错，再到规模复制的认知升级路径，从行业头部企业普惠至更多中小企业，成为数据应用的“基础设施”。未来，每个企业都会像20年前上ERP、5年前上云那样，标配自己的“数据中台”，为企业数字化转型奠定坚实基础。而作为国内早的一批数据服务创新者，笔者们希望能将过去十余年沉淀的数据认知和行业经验，与更为广泛的行业人士分享、碰撞、交流，并在此过程中实现认知升级，从而更好地增援企业未来，提升企业硬实力，这就是从2019年5月起，笔者们历时半年撰写本书的初心与梦想。 本书的写作历程是一次共创与感恩之旅。数澜三年，与百家行业头部客户共建数据中台，本书虽只有薄薄数百页，但却承载了数澜与客户合力共创的千余个日日夜夜的思考与探索。感恩在与中信集团、万科地产、兴业银行、百果园等诸多客户共创中沉淀的数据认知与实战经验，让我们得以不断思考“让数据用起来”的真谛与本质，而唯有将这些思想的火花具象成文，集结成册，分享给更多数字化转型之路上同行的人们，方不负大家对我们的期望和厚爱！ 这还是一次自我之旅，感谢机械工业出版社华章公司的策划编辑杨福川老师、责任编辑罗词亮老师、美术编辑王建敏老师，他们的鼓励与指导点燃了我们心中的梦想，让我们这群拙于表达的技术人，竟产出了近20万字的中台理论知识与实践经验总结。半年前看似不可能完成的任务，我们坚持了下来，并沉淀下了多年工作认知和经验思考，于我们自身来说是一份特别珍贵的精神财富。 这更是集体智慧的结晶，感谢赵东辉、谢辉、白松、蔡勇剑、黄飞、黄耐寒、贾松、罗玲、李舵、李远泽、秦文艺、孙昂、陶胜刚、张梦琴等多位数澜专家，他们奋战在数据产品、开发、算法、咨询、治理一线，在异常繁忙的年中冲刺季，挤出时间为本书撰文，可谓字字珠玑；感谢徐锦、谭琼、邵雪、杨莎莎、朱清漪、程国强、李德亮、陶丽婷等组成的内部编委会，十年经验，四月烧脑总结写作，两周封闭萃取，杭京深三地联动，通宵达旦，激情燃烧，让专业的技术术语鲜活起来，让抽象的思维认知灵动起来，让本书逻辑更清晰明了，更具有可读与吸引力！ 数据中台已经掀起了幕布的一角，幕布后面的精彩世界需要、产业、行业、企业共同激荡演绎。让我们走进数据中台的世界，共同描绘属于我们的新纪元！