正版新书]主数据驱动的数据治理:原理.技术与实践王兆君、王钺、

第一篇数据治理概念

第1章数据治理概述

1.1数据治理背景

1.2数据资产和数据管理

1.2.1数据资产的概念和重要性

1.2.2数据资产的构成

1.2.3数据管理的内容、现状和问题

1.3数据治理的目标和挑战

1.3.1数据治理的概念

1.3.2数据治理的目标

1.3.3数据治理的挑战

1.4数据治理的核心内容

1.4.1数据治理的内容

1.4.2数据治理的基本过程

1.4.3数据治理的重点

1.5数据治理的评估——成熟度模型

1.5.1数据管理的成熟度模型

1.5.2您的企业需要数据治理吗

第2章主数据和主数据管理

2.1主数据的概念

2.1.1主数据的定义

2.1.2主数据的特征

2.1.3主数据的范围

2.2主数据管理的概念

2.2.1主数据管理的定义

2.2.2主数据管理体系

2.2.3主数据管理系统的功能

2.3主数据管理的意义

2.3.1主数据管理的必要性

2.3.2主数据管理的意义

第3章主数据驱动的数据治理

3.1数据治理框架

3.1.1国际标准化组织

3.1.2国际数据管理协会

3.1.3国际数据治理研究所

3.1.4IBM数据治理委员会

3.1.5中国电子工业标准化技术协会信息技术服务分会

3.1.6现有数据治理框架的局限

3.2主数据驱动的数据治理框架

3.2.1治理思路和治理目标

3.2.2治理框架

3.2.3技术架构

3.3主数据驱动的数据治理过程

3.3.1过程框架

3.3.2架构阶段

3.3.3治理阶段

3.3.4任务、角色、分工、职责

3.4数据治理工具和系统选型

3.4.1软件公司的行业实践

3.4.2产品特性

3.4.3软件公司的实力

3.4.4软件公司的实施

3.4.5软件的价格

第二篇数据治理实施

第4章主数据项目的准备

4.1主数据项目实施的主要风险

4.1.1组织风险

4.1.2数据风险

4.1.3集成风险

4.1.4其他风险

4.2数据治理管理组织

4.2.1项目组织

4.2.2人员配置

4.2.3管控角色

4.2.4管控流程

4.2.5绩效考核

4.3数据管理规范体系

4.3.1主数据管理规范

4.3.2主数据应用标准

第5章主数据体系规划方法

5.1主数据体系规划的任务和步骤

5.1.1主数据体系规划的任务

5.1.2主数据体系规划的步骤

5.2主数据体系评估方法论

5.2.1主数据管理成熟度模型

5.2.2主数据管理成熟度模型的评价指标

5.2.3主数据管理成熟度评估方法

5.3现状调研与需求分析

5.3.1现状调研

5.3.2现状评估与差距分析

5.3.3需求分析

5.4主数据识别分析方法

5.4.1多因素分析方法

5.4.2主数据类型识别分析

5.4.3主数据元属性识别分析

5.5主数据体系规划设计

5.6主数据体系架构设计

5.6.1主数据管控体系

5.6.2主数据标准体系

5.6.3主数据质量体系

5.6.4主数据安全体系

5.7主数据管理实施规划

5.7.1实施策略

5.7.2实施计划

5.7.3投资预算

第6章主数据项目实施步骤

6.1实施方法概述

6.1.1传统软件开发项目的实施方法

6.1.2主数据项目的实施方法

6.2项目实施阶段的主要任务

6.2.1第一阶段： 体系规划阶段

6.2.2第二阶段： 平台实施阶段

6.3各主要阶段的任务分工

6.3.1项目启动与需求调研阶段

6.3.2体系规划与架构设计阶段

6.3.3标准建立及主数据平台设计阶段

6.3.4客户化设计、开发、测试、数据清洗阶段

6.3.5系统上线启用阶段

6.3.6系统运维与持续优化阶段

6.4数据准备

6.4.1数据准备方案制订

6.4.2数据采集

6.4.3数据清洗

6.4.4数据导入

6.5人员培训

6.6程序设计

6.6.1程序设计的基本要求

6.6.2程序设计方法

6.6.3产品定制开发

6.7系统集成

6.7.1系统集成架构

6.7.2集成流程

6.7.3系统集成技术

6.8系统测试

6.9系统试运行及上线

6.9.1系统试运行

6.9.2系统切换

6.10系统评价

6.11项目管理

第7章主数据项目的运维和管理

7.1主数据运维管理体系

7.1.1主数据运维管理组织

7.1.2主数据运维管理流程

7.2主数据运维管理内容

7.2.1主数据模型运维管理

7.2.2主数据工作流运维管理

7.2.3主数据生命周期运维管理

7.2.4主数据质量运维管理

7.2.5平台基础服务运维管理

7.2.6主数据存储运维管理

7.2.7数据库系统运维服务

7.2.8主数据安全运维管理

7.2.9基于云服务的运维管理

7.3主数据运维应急响应措施

7.4对外部供应商的运维要求

第8章典型主数据管理产品及实施案例

8.1主数据管理系统模式的分类

8.1.1基于ETL工具的主数据应用

8.1.2基于SOA的主数据管理平台

8.2典型产品和解决方案及其对比

8.2.1SunwayWorld的主数据全生命周期管理平台

8.2.2SAP的MDM解决方案

8.2.3IBM的MDM解决方案

8.2.4Oracle的MDM解决方案

8.2.5Informatica MDM解决方案

8.2.6产品对比

8.3优选企业的主数据管理现状

8.4主数据典型应用案例介绍

8.4.1石油行业应用举例——某大型石油总公司的主数据管理

8.4.2煤炭行业应用举例——某大型能源集团公司的主数据管理

8.4.3有色金属行业应用举例——某大型有色金属公司的主数据管理

8.4.4建筑行业应用举例——某大型建筑股份有限公司的主数据管理

8.4.5航空航天行业应用举例——某航天建设集团有限公司的主数据
管理

8.4.6基建行业应用举例——某工程建设有限责任公司的主数据管理

8.4.7电器行业应用举例——某大型电器集团的主数据管理

8.4.8机械制造行业应用举例——某大型饲料机械集团的主数据管理

8.4.9水泥行业应用举例——某水泥控股有限公司的主数据管理

8.4.10交通运输行业应用举例——某交通投资建设有限公司的主数据
管理

8.4.11政府部门主数据应用举例——某省经信委项目的主数据管理

第三篇数据治理技术

第9章数据架构和模型

9.1数据架构

9.1.1数据架构规划

9.1.2数据架构设计

9.2数据模型

9.2.1数据模型的定义

9.2.2数据模型的类型

9.2.3数据的物理特征

9.2.4元数据模型

9.2.5主数据模型

9.2.6信息链和信息生命周期

9.2.7数据谱系和影响分析

第10章数据集成

10.1企业应用集成

10.1.1企业应用集成的概念

10.1.2企业应用集成的分类

10.1.3企业应用集成的方法

10.1.4企业服务总线

10.1.5微服务架构

10.2数据集成交换服务

10.2.1制定数据集成交换规范和架构

10.2.2搭建数据交换平台

10.2.3实现数据交换管理

10.3构建数据服务体系

10.4形成数据资产全局视图

第11章数据质量管理

11.1数据质量的定义

11.1.1数据质量

11.1.2数据质量维度

11.1.3数据质量评估

11.1.4数据剖析

11.1.5数据质量问题和数据管理问题

11.1.6合理性检查

11.1.7数据质量阈值

11.1.8过程控制

11.1.9联机数据质量的检测和监控

11.2数据质量评估框架

11.2.1数据质量评估框架的背景

11.2.2数据质量评估框架的范围

11.2.3数据质量评估框架的质量维度

11.2.4数据质量期望

11.3数据质量评估测量类型

11.3.1数据模型的一致性

11.3.2数据内容的有效性

11.3.3评估数据内容的一致性

11.4数据评估方案

11.4.1数据初步评估

11.4.2数据质量改进评估

11.4.3数据质量持续改进

11.5数据质量战略

11.5.1数据质量战略的概念

11.5.2数据战略和数据质量战略

11.5.3把数据作为资产

11.5.4监控数据质量

第12章主数据全生命周期管理

12.1主数据全生命周期管理及意义

12.2主数据全生命周期管理内容

12.2.1数据申请

12.2.2数据审核

12.2.3数据变更

12.2.4数据集成和数据分发

12.2.5数据查询

12.2.6数据归档

12.3数据清洗管理

12.3.1数据清洗的内容

12.3.2数据清洗的一般过程

12.3.3数据清洗的工具

12.4建立主数据全生命周期管理体系

12.4.1概述

12.4.2建立信息架构

12.4.3发现数据对象

12.4.4分类数据对象和定义服务水平

12.4.5建立测试数据管理策略

12.4.6归档数据

第13章数据安全管理

13.1数据安全的意义和作用

13.1.1数据安全的概念

13.1.2数据安全的意义和作用

13.2数据安全的关键内容

13.2.1数据存储安全

13.2.2数据传输安全

13.2.3数据使用安全

13.3数据隐私保护

13.3.1数据隐私保护的意义和作用

13.3.2数据隐私保护面临的问题和挑战

13.3.3数据隐私保护技术

第四篇数据治理前景

第14章主数据管理应用前景展望

14.1主数据管理应用市场发展趋势

14.2大数据时代的主数据管理

14.2.1大数据的定义和特征

14.2.2大数据时代企业管理的新模式

14.2.3主数据管理在大数据分析中的作用

14.2.4大数据对主数据管理的挑战

14.3基于云服务的主数据管理

14.3.1云服务的定义和发展现状

14.3.2主数据管理的云服务模式

14.3.3主数据管理云服务平台的技术基础

14.3.4云服务对企业主数据管理的影响

14.4面向人工智能的主数据管理

14.4.1人工智能的定义及应用领域

14.4.2人工智能在企业中的实践

14.4.3主数据管理与人工智能的关系

14.4.4主数据管理在人工智能中的作用

14.5区块链技术与主数据管理

14.5.1区块链的定义及特征

14.5.2区块链技术的应用领域

14.5.3区块链技术在主数据管理中的应用

14.6主数据管理——企业发展的坚实根基

王兆君 高级工程师，北京三维天地科技有限公司高级副总裁。在企业信息化领域服务30年，在智能制造、电子商务、数据治理等领域具有专长。多次主持企业信息咨询规划项目建设，负责过近百家大型企业信息化项目的组织管理工作，承担多项国家标准的制定任务。为能源、化工、电力、建筑、冶金等行业的数据治理建设提供过专业咨询服务。在信息化实施方面积累了丰富的经验。
王钺 博士，清华大学电子工程系副研究员。长期从事传感网、大数据，以及数据治理领域的研究工作。主持或参与包括国家973、863计划在内的20余项科研项目，发表论文50余篇。
曹朝辉 数据标准化资深专家，北京三维天地科技有限公司副总裁。从事信息标准化咨询和实施工作超过15年。参与国际贸易、电子商务、人体工效学等方面的“十一五” “十二五” “十三五”国家科技支撑计划项目3项，曾负责和参与过国家食品药品监督管理总局、中国海油、中煤能源、国家电投、中国国电、中国有色、中国铝业、中国黄金、中船重工、中兴通讯、京东方、四川长虹等单位数据标准咨询和系统实施项目，在数据标准构建、数据清洗和治理、数据管控、数据集成和应用等方面具有丰富的经验。

在过去的几十年里，对数据的计算和存储能力以及可用性的巨大进步，促成了当今数据驱动型的世界现状。数据正在对整个人类社会产生巨大的积极影响， 它不仅在改变着人们生活的各个方面，而且也使得企业的运营更加高效。互联网数据中心（IDC）预测，到2025年，全球数据圈将扩展至163ZB（1ZB相当于1万亿GB），是2016年所产生16.1ZB数据的10倍，这些数据将给个人带来全新的用户体验并且给企业带来更多的商业机会。
虽然已经有部分企业认识到数据资产的重要性，但是随着数据数量、种类以及重要性的不断增加，收集、存储和处理这些数据的难度也越来越大。如何从海量数据中挖掘出对制定决策有价值的信息，成为企业在管理和使用数据过程中面临的主要挑战。
数据治理的核心正是加强对数据资产的管控，通过深化数据服务以持续创造价值，企业领导者必须关注其中最重要的那部分数据，只有识别并充分利用这些至关重要的数据，才能发挥其巨大潜力。主数据管理就是从来源复杂的数据中捕捉关键数据，并且对这些具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据进行管理，通过为跨构架、跨平台、跨应用的系统提供一致的、可识别的主数据对象来支持整个企业的业务需求，从而提高企业的整体数据质量，提升数据资产价值，推动业务创新，全面增强企业竞争力。主数据管理是一个全面的战略，涵盖所有需要统一定义的、企业所需的核心数据和数据标准。主数据管理的有效途径是建立一个包括主数据标准体系、主数据管控体系、主数据质量体系和主数据安全体系在内的、完整的主数据体系，建立持续长期的管理机制，这样才能构建企业数据的核心治理能力，合理利用企业数据来寻求竞争优势。
本书编者从事数据治理和主数据管理咨询工作近10年，亲身经历了数据治理和主数据管理在中国企业信息化浪潮中的兴起、演进和实践的过程。目前，为了配合国家信息化发展战略，很多企业把数据治理和主数据管理系统建设项目提上日程，并且开展了部分信息标准化工作。但是，从总体上看，国内企业的主数据体系建设工作仍然处在起步阶段，很多企业管理者对数据治理和主数据管理的概念理解有限，对主数据管理体系建设的重要性认识不足。编者将在数据治理和主数据管理领域的从业经验和知识积累进行总结，与大家分享和探讨，并希望能回答什么是数据治理和主数据管理、为什么需要数据治理以及如何进行主数据管理等问题。

本书坚持“贴近用户”的思路，回答用户关心的核心问题，不仅介绍主数据管理的产生背景、概念、模型和技术等理论知识，同时涵盖主数据管理项目的实施方法和过程、主数据管理的产品和应用案例，使读者对主数据管理项目从底层技术知识到上层应用实践都能有系统的理解。同时，本书有针对性地对行业主流厂家的主数据管理产品进行了全面介绍，让读者能够更加深入地了解行业主流产品与趋势。书中案例都是近几年国内相关行业的领先企业的优秀实践，对其他企业的主数据管理和数据治理工作具有很高的参考价值。另外，书中对大数据、云计算、人工智能和区块链等新兴技术与主数据管理的结合应用也进行了探讨及趋势分析。
全书通过对主数据管理的背景、概念、模型、技术、实施、产品、案例、发展等内容的全面介绍，为读者揭开主数据管理这一新兴概念的神秘面纱，为读者进行数据治理、主数据管理实践提供重要参考。
全书分为4篇，共14章。第一篇数据治理概念，包括第1~3章，其中第1章介绍数据治理的背景、意义和核心内容，并且引入数据管理的成熟度模型，使用户可以根据自评表得到成熟度评估和治理建议； 第2章讨论主数据和主数据管理的概念和意义，为读者揭示主数据管理的必要性； 第3章讨论主数据驱动的数据治理，系统地介绍治理框架、治理过程和数据治理工具。第二篇数据治理实施，包括第4~8章，其中第4章介绍主数据治理项目的准备工作； 第5章讨论主数据体系规划方法； 第6章说明主数据治理项目的具体实施步骤； 第7章介绍主数据项目的运维和管理； 第8章介绍目前国内主流的主数据管理解决方案和产品，并分析国内主数据管理的优选案例。第三篇数据治理技术，包括第9~13章，其中第9章介绍数据架构和模型的相关技术知识； 第10章讨论数据集成技术及其企业应用； 第11章介绍数据质量管理的定义、评估框架以及数据质量战略； 第12章讨论数据生命周期管理的概念、内容和体系架构； 第13章介绍数据安全管理和数据隐私保护。第四篇数据治理前景，包括第14章，主要展望主数据与大数据、云服务、人工智能和区块链应用的发展趋势。

本书既可补充从事信息化建设的IT部门人员的专业知识，更能为组织管理者提供信息化知识储备和工作思路，助力IT架构的组织优化。
本书也面向咨询公司的顾问和实施人员，不仅针对主数据管理项目，而且对处理各类信息系统项目中可能出现的数据问题都具有一定参考价值。
本书还可以作为企业管理软件开发人员的自学参考书，以及相关专业在校师生开阔视野、理论联系实践的参考书。

在本书的编写过程中参考和引用了国内外很多书籍和网站的相关内容，部分图片素材和个别实例的初始原型也来源于网络，部分互联网相关资源无法一一列举出处，在此向其作者一并予以感谢。
众所周知，一本书难免出现不足和疏漏之处，恳请广大读者将意见和建议反馈给我们，以便在后续版本中不断改进和完善。有关数据治理的更多信息，可关注北京三维天地科技有限公司微信公众号。

编者
2019年1月

主数据是企业数据资产中的黄金部分，是大数据应用的核心推动力。本书涵盖了主数据治理的关键主题：
数据资产，数据治理
治理框架，治理模型
治理方法，治理过程
治理产品，治理案例
模型框架，数据集成
数据质量，数据安全