大数据技术与应用 中国产业发展研究院

《大数据技术与应用》一书，作为“新基建核心技术与融合应用丛书”的重要成员，深度聚焦我国国民经济和社会发展第十四个五年规划及2035年远景目标的重大要求。本书不仅揭示了大数据技术的核心战略价值——不在于数据本身的庞大，而在于对其专业化处理的能力，更明确指出大数据产业盈利的关键在于提升数据的“加工能力”，实现数据的“增值”。<br><br>立足数字经济浪潮，本书以促进数据合规高效流通使用、赋能实体经济为主线，全面而系统地围绕大数据的全生命周期进行编写，覆盖了从采集、流通、安全、治理到应用等各个环节，同时深入探讨了大数据存储、计算、管理、安全与治理、资产管理与流通、分析、平台、产业与应用等关键领域。<br><br>本书不仅为IT、金融、研究机构等相关从业人员提供了宝贵的参考，也为高等院校相关专业的学生以及所有对大数据感兴趣的读者打开了一扇通往知识宝库的大门。它不仅是理解大数据技术与应用的权威指南，更是推动我国数字经济高质量发展不可或缺的智慧源泉。

序一<br>序二<br>前言<br>第1 章　大数据时代的形成与发展/ 001<br>1.1　大数据发展历程/ 001<br>1.1.1　大数据的起源/ 001<br>1.1.2　全球大数据发展历程/ 001<br>1.1.3　我国大数据发展历程/ 002<br>1.2　大数据的定义与特征/ 003<br>1.2.1　什么是数据/ 003<br>1.2.2　大数据的定义/ 004<br>1.2.3　大数据的单位/ 005<br>1.2.4　大数据的5 V 特征/ 005<br>1.3　大数据技术/ 006<br>1.3.1　大数据关键技术/ 006<br>1.3.2　大数据技术体系分析/ 007<br>1.3.3　大数据技术细分领域/ 009<br>1.4　大数据政策及法规/ 010<br>1.4.1　国外的大数据政策及法规/ 010<br>1.4.2　我国的大数据政策及法规/ 014<br>第2 章　大数据核心发展理念/ 018<br>2.1　大数据新发展观/ 018<br>2.1.1　大数据理论组成/ 018<br>2.1.2　数据的资源属性/ 019<br>2.1.3　数据生产要素/ 021<br>2.1.4　数据要素价值化/ 022<br>2.1.5　数据要素价值实现途径/ 023<br>2.2　数字经济/ 025<br>2.2.1　数据成为数字经济时代关键生产要素/ 025<br>2.2.2　数字经济的发展历程/ 025<br>2.2.3　数字经济的概念与特征/ 026<br>2.2.4　数字经济新业态、新模式/ 031<br>2.2.5　数字化转型与数字经济/ 033<br>2.3　数据要素/ 035<br>2.3.1　数据治理与数据安全治理/ 035<br>2.3.2　数字治理体系与数字规则/ 037<br>2.3.3　依法数字治理/ 040<br>2.3.4　数字经济治理/ 040<br>2.3.5　数字治理与数字化转型/ 041<br>2.4　数据基础设施/ 042<br>2.4.1　算力新基建/ 042<br>2.4.2　数据新型基础设施/ 045<br>2.4.3　“东数西算”打造数据基础设施/ 047<br>第3 章　大数据存储/ 050<br>3.1　存储技术基础/ 050<br>3.1.1　数据存储发展史/ 050<br>3.1.2　存储系统的类型/ 051<br>3.1.3　存储架构/ 053<br>3.1.4　高速存储技术/ 054<br>3.2　大数据存储架构及技术/ 056<br>3.2.1　分布式存储/ 056<br>3.2.2　分布式存储架构/ 057<br>3.2.3　Google 分布式存储系统GFS / 059<br>3.2.4　大数据平台Hadoop 存储系统HDFS / 060<br>3.3　存储技术发展趋势/ 063<br>3.3.1　软件定义存储/ 064<br>3.3.2　超融合基础架构/ 067<br>3.3.3　下一代存储关键技术演进/ 068<br>3.4　数据存储技术赋能社会经济数字化转型/ 071<br>3.4.1　异构数据管理加速数据湖/ 071<br>3.4.2　多级存储介质助力实时分析能力构建/ 072<br>3.4.3　云存储备份简化数据安全实践路径/ 073<br>第4 章　大数据计算/ 074<br>4.1　大数据计算技术/ 074<br>4.1.1　数据计算技术发展历程/ 074<br>4.1.2　大规模分布式计算/ 076<br>4.2　大数据计算主流技术/ 077<br>4.2.1　大数据计算模式/ 077<br>4.2.2　批处理计算MapReduce / 078<br>4.2.3　内存计算Spark / 080<br>4.2.4　流计算Flink / 081<br>4.2.5　其他计算模型/ 083<br>4.3　算力重构大数据计算/ 083<br>4.3.1　数据处理单元/ 084<br>4.3.2　算存一体/ 085<br>4.3.3　算网一体/ 088<br>4.3.4　智算中心/ 090<br>4.4　隐私计算/ 091<br>4.4.1　隐私计算介绍/ 091<br>4.4.2　隐私计算架构/ 092<br>4.4.3　隐私计算关键技术/ 094<br>第5 章　大数据管理/ 095<br>5.1　大数据管理技术/ 095<br>5.1.1　大数据结构类型/ 095<br>5.1.2　CAP 定理/ 097<br>5.1.3　数据管理系统/ 098<br>5.2　数据库/ 099<br>5.2.1　数据库的发展历程/ 099<br>5.2.2　数据库管理系统架构/ 103<br>5.2.3　数据库关键技术/ 103<br>5.3　非关系型数据库/ 105<br>5.3.1　NoSQL 基本原理/ 106<br>5.3.2　NoSQL 关键技术/ 106<br>5.3.3　NoSQL 的数据库类型/ 109<br>第6 章　大数据安全与治理/ 114<br>6.1　数据安全与治理/ 114<br>6.1.1　信息安全/ 114<br>6.1.2　网络安全/ 115<br>6.1.3　数据安全/ 117<br>6.1.4　数据治理/ 118<br>6.2　大数据安全/ 120<br>6.2.1　大数据安全技术/ 120<br>6.2.2　大数据平台安全/ 121<br>6.2.3　大数据安全技术/ 122<br>6.2.4　隐私保护/ 123<br>6.3　大数据安全防护/ 124<br>6.3.1　大数据安全防护目标/ 124<br>6.3.2　大数据防护理念/ 125<br>6.3.3　大数据安全防护框架/ 126<br>6.3.4　大数据安全防护体系/ 128<br>6.4　大数据安全关键技术/ 129<br>6.4.1　风险识别/ 130<br>6.4.2　安全防护/ 130<br>6.4.3　安全检测/ 132<br>6.4.4　安全响应/ 133<br>6.4.5　安全恢复/ 134<br>6.4.6　反制/ 134<br>6.5　大数据安全治理/ 135<br>6.5.1　数据安全治理的概念/ 135<br>6.5.2　数据安全治理的内容/ 136<br>6.5.3　数据安全治理实践过程/ 142<br>第7 章　大数据资产管理与流通/ 149<br>7.1　数据与资产/ 149<br>7.1.1　资产与无形资产/ 149<br>7.1.2　数据价值表现形式/ 150<br>7.1.3　数据资产概念/ 150<br>7.1.4　数据资产特征与属性/ 153<br>7.2　大数据资产管理/ 154<br>7.2.1　数据资产管理发展历程/ 154<br>7.2.2　大数据资产与管理/ 155<br>7.2.3　大数据资产管理难点/ 157<br>7.2.4　大数据资产管理发展趋势/ 158<br>7.3　大数据资产管理体系/ 161<br>7.3.1　大数据资产管理体系构成/ 161<br>7.3.2　大数据资产管理活动/ 162<br>7.3.3　大数据资产管理法则/ 163<br>7.3.4　大数据资产运营支撑体系/ 166<br>7.4　大数据资产流通/ 169<br>7.4.1　数据要素流通/ 169<br>7.4.2　数据要素市场/ 171<br>7.4.3　数据确权/ 172<br>7.4.4　数据评估/ 173<br>7.4.5　数据交易/ 175<br>7.4.6　大数据资产流通挑战与发展/ 176<br>第8 章　大数据分析/ 178<br>8.1　大数据分析基本概念/ 178<br>8.1.1　数据分析与挖掘/ 178<br>8.1.2　什么是大数据分析/ 180<br>8.1.3　大数据分析与机器学习/ 181<br>8.1.4　大数据分析与数据科学范式/ 182<br>8.2　大数据分析流程与框架/ 183<br>8.2.1　大数据分析流程/ 184<br>8.2.2　业务理解/ 185<br>8.2.3　数据理解/ 186<br>8.2.4　数据准备/ 187<br>8.2.5　数据建模/ 188<br>8.2.6　模型验证与评估/ 190<br>8.2.7　模型部署/ 192<br>8.3　大数据分析模型与分析方法/ 193<br>8.3.1　数据清洗与数据探索/ 194<br>8.3.2　分类与回归/ 200<br>8.3.3　聚类分析/ 202<br>8.3.4　关联分析/ 203<br>8.3.5　时间序列分析/ 204<br>8.4　大数据分析关键技术/ 205<br>8.4.1　数据标注/ 205<br>8.4.2　大数据可视化技术/ 206<br>8.4.3　时序模式分析技术/ 206<br>8.4.4　多源数据融合技术/ 206<br>8.5　大数据分析典型应用/ 207<br>8.5.1　自然语言处理/ 207<br>8.5.2　AI 大模型/ 208<br>8.5.3　生成式人工智能/ 210<br>8.5.4　知识图谱/ 212<br>第9 章　大数据平台/ 213<br>9.1　大数据平台发展历程/ 213<br>9.1.1　数据平台的变迁/ 213<br>9.1.2　什么是大数据平台/ 214<br>9.1.3　大数据平台的发展/ 215<br>9.2　湖仓一体技术/ 217<br>9.2.1　数据仓库/ 217<br>9.2.2　数据湖/ 217<br>9.2.3　湖仓一体化/ 219<br>9.3　数据中台/ 220<br>9.3.1　数据中台的概念/ 220<br>9.3.2　数据中台建设条件/ 222<br>9.3.3　数据中台核心能力/ 223<br>9.3.4　大数据与数据湖、数据中台的区别/ 224<br>9.4　典型开源大数据平台/ 224<br>9.4.1　大数据平台核心功能/ 225<br>9.4.2　开源大数据平台Hadoop系统架构/ 225<br>9.4.3　城市大数据平台/ 228<br>第10 章　大数据产业与应用/ 232<br>10.1　大数据产业/ 232<br>10.1.1　大数据产业基本概念/ 232<br>10.1.2　大数据产业构成/ 233<br>10.1.3　大数据产业现状/ 234<br>10.2　大数据产业商业模式/ 236<br>10.2.1　大数据产业链/ 236<br>10.2.2　大数据商业模式/ 237<br>10.3　大数据应用/ 238<br>10.3.1　数据应用发展历程/ 238<br>10.3.2　大数据应用赋能新质生产力/ 239<br>10.3.3　大数据应用现状/ 243<br>10.3.4　大数据应用的难点与挑战/ 244<br>10.3.5　大数据与实体经济融合应用/ 244<br>10.4　大数据应用案例/ 245<br>10.4.1　行业大数据/ 245<br>10.4.2　地球大数据/ 246<br>10.4.3　工业大数据/ 249<br>参考文献/ 258<br>

本书是围绕我国国民经济和社会发展第十四个五年规划和2035 年远景目标等重大要求, 由中国通信学<br>会、中国产业发展研究院联合组织编写的“新基建核心技术与融合应用丛书” 之一。<br>大数据技术的战略意义不在于掌握庞大的数据信息, 而在于对这些含有意义的数据进行专业化处理。换<br>而言之, 如果把大数据比作一种产业, 那么这种产业实现盈利的关键在于提高对数据的“加工能力”, 通过<br>“加工” 实现数据的“增值”。本书立足数字经济浪潮, 以促进数据合规高效流通使用、赋能实体经济为主<br>线, 重点围绕大数据采集、流通、安全、治理及应用等全生命周期进行编写, 覆盖大数据存储、计算、管<br>理、安全与治理、资产管理与流通、分析、平台、产业与应用等环节, 对培育新质生产力, 推动我国数字经<br>济高质量发展具有重要参考价值。<br>本书适合IT、金融、研究机构相关从业人员以及高等院校相关专业的学生使用, 也可供对大数据感兴趣<br>的读者阅读。

王丽，中科院电子学研究所物理电子学博士，北京航空航天大学博士后研究员，国网科学研究院研究员，主要研究领域为大数据挖掘与分析、MEMS传感器及芯片原理、光学传感技术、微流控技术、信号检测与处理等。发表SCI、EI学术论文10余篇，主持北京市自然科学基金一项。