正版新书]面向高端制造领域的大数据管理系统“面向高端制造领域

第1篇导论篇

第1章什么是工业大数据3

1.1工业大数据的定义3

1.2确定性与不确定性并存3

1.34V特征4

1.4多模态、强关联、高通量5

1.5应用特征5

本章参考文献7

第2章发展动态与现实需求8

2.1靠前动态8

2.2国内现状9

2.3现实需求10

本章参考文献11

第3章系统架构与关键技术12

3.1工业大数据技术架构12

3.2工业大数据管理系统架构14

3.3工业大数据管理关键技术15

本章参考文献16

第2篇多模态异构数据源管理引擎篇

第4章高通量监测时序数据管理引擎19

4.1概述19

4.2需求19

4.2.1时序数据19

4.2.2应用场景19

4.2.3功能需求20

4.2.4现有工作21

4.3系统设计21

4.3.1系统架构21

4.3.2系统特点22

4.3.3数据模型23

4.3.4编码压缩23

4.3.5查询功能23

4.4技术实现25

4.4.1TsFile文件格式25

4.4.2存储引擎26

4.4.3查询引擎26

4.5性能27

4.5.1性能概述27

4.5.2测试结果27

4.6本章小结32

本章参考文献33

第5章海量非结构化仿真数据管理引擎34

5.1概述34

5.2需求34

5.2.1应用场景34

5.2.2相关工作36

5.2.3需求描述36

5.3方法设计39

5.3.1系统框架执行原理39

5.3.2系统管理者模块40

5.3.3元数据存储模块40

5.3.4非结构化数据存储模块41

5.4技术实现41

5.4.1小文件管理策略42

5.4.2查询语法43

5.5性能48

5.5.1Benchmark测试48

5.5.2ImageNet测试49

5.6本章小结50

本章参考文献51

第6章BOM图数据管理引擎52

6.1概述52

6.2需求52

6.2.1BOM数据的建模需求52

6.2.2BOM数据的查询需求56

6.2.3需求小结62

6.3方法设计63

6.3.1以BOM为核心的产品生命周期信息闭环模型设计思想63

6.3.2结构化数据集成64

6.3.3非结构化数据集成67

6.3.4信息闭环的应用场景70

6.4技术实现74

6.4.1系统架构74

6.4.2功能结构实现75

6.5性能81

6.5.1数据准备81

6.5.2数据导入81

6.5.3应用案例82

6.6本章小结83

本章参考文献83

第7章BOM图数据模式匹配算法85

7.1概述85

7.2需求85

7.3相关工作88

7.3.1图同构查询88

7.3.2分布式图计算框架88

7.3.3分布式图模式匹配89

7.4方法设计89

7.4.1系统整体架构89

7.4.2查询计划SSD的构造90

7.4.3消息传递规则构建92

7.4.4消息传递规则附加到数据节点94

7.4.5查询计划的执行94

7.4.6方法分析96

7.5性能97

7.5.1实验设置97

7.5.2优化策略分析98

7.5.3可扩展性分析99

7.5.4相关方法对比分析100

7.6本章小结101

本章参考文献101

第8章BOM图数据测试与分析算法103

8.1概述103

8.2需求103

8.3方法设计105

8.4技术实现106

8.4.1社区发现106

8.4.2介数中心度计算111

8.4.3图数据库管理系统测试117

8.5效果与特色117

8.5.1界面展示117

8.5.2社区发现效率119

8.5.3介数中心度更新效率120

8.6本章小结123

本章参考文献123

第3篇语义融合与一体化管理引擎篇

第9章数据融合与一体化数据查询模型127

9.1概述127

9.2需求127

9.2.1数据集成128

9.2.2面向多源异构数据的统一数据操作接口规范130

9.3模型设计与实现130

9.3.1数据源130

9.3.2数据模式131

9.4本章小结133

本章参考文献133

第10章数据融合与一体化数据查询调度135

10.1概述135

10.2需求135

10.2.1查询语言统一问题135

10.2.2跨引擎访问切换问题136

10.2.3跨引擎查询执行效率问题136

10.3方法设计137

10.3.1设计思想137

10.3.2元数据模式信息138

10.3.3架构设计139

10.4技术实现140

10.4.1整体框架140

10.4.2语法设计141

10.4.3词法、语法与语义模块143

10.4.4元数据管理模块144

10.4.5计划与整合规则生成模块145

10.4.6执行器模块146

10.4.7结果整合模块和JSON转换模块146

10.5性能146

10.5.1首页146

10.5.2数据源147

10.5.3映射模式147

10.5.4数据集信息148

10.5.5数据查询149

10.6本章小结150

本章参考文献150

第11章语义融合中的实体抽取与关联151

11.1概述151

11.2需求151

11.3方法设计152

11.3.1方法概述152

11.3.2候选样本提取与特征选择方法153

11.3.3基于标签函数的标签推断方法154

11.3.4基于专家委员会的主动学习交互方法155

11.3.5标签函数构造方法156

11.4技术实现160

11.4.1概述160

11.4.2数据结构160

11.4.3实现细节161

11.4.4外部接口161

11.5性能162

11.5.1实体挖掘模块成果162

11.5.2实体抽取系统性能162

11.6本章小结163




本章参考文献163




第12章语义融合与一体化语义查询实现165

12.1概述165

12.2需求165

12.3方法设计166

12.3.1方法概述166

12.3.2时序模式生成算法166

12.3.3文本匹配方法167

12.3.4时间序列的模式匹配算法168

12.4技术实现169

12.4.1组件选取169

12.4.2数据结构与预处理171

12.4.3系统实现174

12.4.4外部接口175

12.5性能176

12.5.1被测系统简介176

12.5.2测试环境介绍177

12.5.3测试方法177

12.5.4测试内容178

12.5.5测试结果179

12.6本章小结179

本章参考文献179

第4篇运维工具篇

第13章性能监控工具183

13.1概述183

13.2需求183

13.3模型设计183

13.3.1数据库监控模块185

13.3.2硬件监控模块186

13.3.3集群监控模块188

13.3.4Docker监控模块189

13.4技术实现189

13.4.1数据采集189

13.4.2监控数据处理与可视化193

13.4.3异常检测194

13.4.4历史任务评价197

13.5效果与优势198

13.5.1监控效果演示198

13.5.2与相关工具相比的优势199

13.6本章小结200

本章参考文献200

第14章系统调优工具202

14.1概述202

14.2需求202

14.3方法设计203

14.3.1关系型数据库调优工具设计203

14.3.2键值数据库调优工具设计204

14.3.3时间序列数据库调优工具设计204

14.3.4Apache Spark分布式数据处理平台调优工具设计206

14.4技术实现208

14.4.1关系型数据库调优工具实现208

14.4.2键值数据库调优工具实现209

14.4.3时间序列数据库调优工具实现212

14.4.4Apache Spark分布式数据处理平台调优工具实现215

14.5性能217

14.6本章小结219

本章参考文献219

第15章资源规划和调度工具222

15.1概述222

15.2需求222

15.2.1功能需求222

15.2.2挑战224

15.3方法设计224

15.3.1系统结构224

15.3.2数据持久化227

15.3.3资源的规划和调度230

15.3.4资源动态伸缩机制231

15.3.5资源预估机制233

15.3.6资源管理系统界面233

15.4系统实现234

15.4.1共享存储的集成235

15.4.2时序数据库管理引擎的集成239

15.4.3结构化数据库管理引擎的集成242

15.4.4键值数据库管理引擎的集成244

15.4.5BOM图数据库管理引擎的集成246

15.4.6非结构化数据库管理引擎的集成251

15.4.7自定义调度器的实现254

15.4.8资源动态伸缩机制的实现259

15.4.9资源预估机制的实现263

15.5性能与优势265

15.6本章小结270

本章参考文献271

第16章数据备份与容灾工具273

16.1概述273

16.2需求273

16.2.1术语解释273

16.2.2系统需求274

16.3相关工作275

16.3.1请求分发模块276

16.3.2用户命令处理模块277

16.3.3磁盘I/O管理模块277

16.3.4远程传输模块280

16.3.5监听模块283

16.3.6主从角色互换模块284

16.3.7远程复制灾难恢复模块284

16.3.8连续数据备份模块286

16.3.9连续数据恢复模块286

16.4本章小结290

本章参考文献290

第17章故障诊断与修复工具292

17.1概述292

17.2需求292

17.3方法设计293

17.3.1总体框架293

17.3.2功能设计294

17.4技术实现296

17.4.1系统结构296

17.4.2图形用户界面312

17.5性能318

17.5.1集群组件监控模块318

17.5.2规则检测模块323

17.5.3日志检测模块324

17.5.4故障诊断与报警模块325

17.6本章小结325

本章参考文献325

第18章数据清洗工具327

18.1概述327

18.2需求327

18.2.1需求分析327

18.2.2总体设计328

18.3方法设计328

18.3.1不完整或不准确数据修复模块328

18.3.2不一致数据中的错列检测与修复模块328

18.3.3异常区间检测与修复模块330

18.4技术实现330

18.4.1不完整或不准确数据修复模块330

18.4.2错列检测与修复模块333

18.4.3异常区间检测与修复333

18.5性能335

18.5.1不完整或不准确数据修复实验结果335

18.5.2错列检测与修复实验结果337

18.5.3异常片段检测与修复实验结果339

18.6本章小结340

本章参考文献340

第5篇测试篇

第19章高通量监测时序数据管理引擎测试基准与工具345

19.1概述345

19.2需求345

19.2.1现有测试基准和工具345

19.2.2应用场景需求描述346

19.3方法设计348

19.3.1数据模型348

19.3.2性能指标349

19.3.3负载模型350

19.4技术实现352

19.4.1评测方案352

19.4.2评测工具的设计和实现352

19.5评测方式和结果354

19.6本章小结356

本章参考文献357

第20章BOM图数据管理引擎测试基准与工具359

20.1概述359

20.2需求360

20.2.1分析360

20.2.2功能360

20.2.3挑战360

20.3方法设计361

20.3.1数据模型分析与设计361

20.3.2数据生成器的设计363

20.3.3查询负载生成器的设计367

20.4技术实现369

20.4.1数据生成器的实现369

20.4.2数据负载生成器的实现373

20.5性能374

20.5.1数据生成器生成的图数据374

20.5.2负载生成器生成的负载374

20.5.3进行测试375

20.5.4基准评价体系设计与建立376

20.6本章小结377

本章参考文献377

第21章海量非结构化工程数据管理引擎测试基准与工具378

21.1概述378

21.2需求378

21.2.1需求概述378

21.2.2基准概述380

21.3模型设计380

21.3.1模型设计概述380

21.3.2数据模型380

21.3.3负载模型383

21.4技术实现385

21.4.1评测系统设计385

21.4.2数据生成部分387

21.4.3负载测试部分392

21.4.4结果显示部分394

21.5特点395

21.6本章小结396

本章参考文献396

第6篇应用篇

第22章支持航天航空装备创新研制的大数据挖掘与分析平台401

22.1概述401

22.2需求401

22.2.1气动特性分析需求402

22.2.2气动热数据分析需求402

22.2.3载荷与环境相关数据分析需求403

22.3方法设计403

22.3.1总体架构403

22.3.2气动特性挖掘算法库405

22.4技术实现407

22.4.1气动规律分析407

22.4.2气动不确定度挖掘416

22.5性能及优势419

22.6本章小结419

本章参考文献419

第23章民机协同大数据设计平台421

23.1概述421

23.2需求421

23.3方法设计422

23.4技术实现424

23.4.1数据接入与存储424

23.4.2数据融合424

23.4.3预研流程与数据协同425

23.5性能426

23.5.1客机多参数综合分析优化平台427

23.5.2中心数据库435

23.5.3基于快速数值分析方法的机翼气动/结构等多学科设计优化软件437

23.6本章小结442

本章参考文献442

第24章基于风电大数据平台的风电场智能运维与设计443

24.1概述443

24.2现状443

24.2.1风电场运维业务现状443

24.2.2风电场设计现状444

24.3平台设计445

24.3.1风电大数据平台总体设计445

24.3.2风电场智能运维服务系统设计446

24.3.3风电厂定制化设计系统设计447

24.4技术方案450

24.4.1风电大数据平台技术方案450

24.4.2风电场智能运维系统技术方案456

24.4.3基于大数据的开放式风电场定制化设计关键技术457

24.5性能459

24.6本章小结460

本章参考文献461

第25章风电装备全生命周期绿色供应链管理462

25.1概述462

25.2应用背景与建设目标462

25.2.1风电绿色供应链建设现状462

25.2.2风电绿色供应链建设需求464

25.2.3风电装备全生命周期绿色供应链管理数据需求466

25.2.4风电绿色供应链建设目标466

25.3风电装备绿色供应链管理的设计467

25.3.1总体任务467

25.3.2总体设计467

25.4技术方案468

25.4.1技术路线468

25.4.2平台建设472

25.4.3关键技术479

25.5性能480

25.5.1特色与优势480

25.5.2经济效益480

25.5.3社会效益481

25.6本章小结482

本章参考文献482

寄语484

本书介绍“工业大数据管理系统”的重要构件，包括多模态异构数据源管理引擎、语义融合与一体化管理、运维工具与测试床等。