正版新书]openGauss数据库源码解析李国良,张树杰编著978730258

章 openGauss简介001

1.1 openGauss概述001

1.2 应用场景003

1.3 系统架构003

1.4 代码结构004

1.4.1 通信管理004

1.4.2 SQL引擎006

1.4.3 存储引擎020

1.5 价值特性034

1.5.1 高性能035

1.5.2 高扩展037

1.5.3 高可用038

1.5.4 可维护性039

1.5.5 数据库安全040

1.5.6 AI能力043

1.6 本章小结044

第2章 openGauss开发快速入门045

2.1 安装部署045

2.1.1 了解安装流程045

2.1.2 准备软硬件安装环境046

2.1.3 修改操作系统配置048

2.1.4 设置root用户远程登录050

2.1.5 获取安装包051

2.1.6 创建XML配置文件053

2.1.7 初始化安装环境057

2.1.8 执行安装058

2.1.9 安装验证060

2.2 基本使用060

2.2.1 连接数据库060

2.2.2 使用数据库062

2.3 开发和编译080

2.3.1 搭建开发环境080

2.3.2 搭建编译环境085

2.3.3 版本编译086

2.4 参与openGauss社区开源项目091

2.4.1 开源社区概述091

2.4.2 社区环境准备092

2.4.3 提交Issue 093

2.4.4 贡献代码和文档094

2.4.5 Git使用099

2.5 本章小结100

第3章 公共组件源码解析101

3.1 系统表101

3.1.1 系统表的定义101

3.1.2 系统表的访问103

3.2 数据库初始化103

3.3 多线程架构107

3.3.1 openGauss主要线程108

3.3.2 线程间通信108

3.3.3 线程初始化流程109

3.4 线程池技术111

3.4.1 线程池原理111

3.4.2 线程池实现112

3.5 内存管理115

3.6 多维监控120

3.7 模拟信号机制123

3.8 本章小结125

第4章 存储引擎源码解析126

4.1 存储引擎整体架构与代码126

4.2 磁盘引擎131

4.2.1 磁盘引擎整体框架与代码131

4.2.2 行存储统一访存接口134

4.2.3 astore 137

4.2.4 ustore 158

4.2.5 行存储索引机制181

4.2.6 行存储缓存机制184

4.2.7 cstore 189

4.2.8 日志系统202

4.2.9 持久化及故障恢复机制209

4.2.10 主备机制214

4.3 内存表223

4.3.1 总体架构与代码223

4.3.2 FDW 225

4.3.3 内存表的存储236

4.3.4 索引237

4.3.5 事务237

4.3.6 并发控制243

4.3.7 重做日志246

4.3.8 检查点251

4.3.9 恢复254

4.4 本章小结257

第5章 事务机制源码解析258

5.1 事务整体架构与代码258

5.2 事务并发控制259

5.2.1 事务状态机259

5.2.2 事务ID分配及CLOG/CSNLOG 268

5.2.3 MVCC可见性判断机制271

5.2.4 进程内多线程管理机制279

5.3 锁机制286

5.3.1 自旋锁287

5.3.2 轻量级锁287

5.3.3 常规锁288

5.3.4 死锁检测机制291

5.3.5 无锁原子操作295

5.3.6 基于鲲鹏服务器的性能优化296

5.4 本章小结307

第6章 SQL引擎源码解析308

6.1 概述308

6.2 SQL解析308

6.2.1 词法分析310

6.2.2 语法分析313

6.2.3 语义分析318

6.2.4 解析流程分析323

6.3 查询优化326

6.3.1 查询重写327

6.3.2 统计信息与代价估算335

6.3.3 物理路径344

6.3.4 动态规划344

6.3.5 遗传算法356

6.4 本章小结367

第7章 执行器解析368

7.1 执行器整体架构与代码368

7.1.1 执行器整体架构368

7.1.2 火山模型368

7.1.3 代码370

7.2 执行流程371

7.2.1 Portal策略选择模块371

7.2.2 ProcessUtility模块373

7.2.3 executor模块373

7.3 执行算子376

7.3.1 控制算子376

7.3.2 扫描算子381

7.3.3 物化算子389

7.3.4 连接算子395

7.4 表达式计算398

7.4.1 初始化阶段398

7.4.2 执行阶段400

7.5 编译执行410

7.5.1 VecExprCode类415

7.5.2 VecHashAggCodeGen类419

7.5.3 VecHashJoinCodeGen类420

7.5.4 VecSortCodeGen类422

7.6 向量化引擎423

7.6.1 控制算子423

7.6.2 扫描算子427

7.6.3 物化算子430

7.6.4 连接算子438

7.7 本章小结441

第8章 AI技术442

8.1 概述442

8.2 自调优442

8.2.1 参数自调优的使用场景442

8.2.2 现有的参数调优技术443

8.2.3 X-Tuner的调优策略445

8.2.4 openGauss关键源码解析447

8.2.5 使用示例459

8.2.6 对X-Tuner的二次开发465

8.2.7 X-Tuner的演进路线465

8.3 慢SQL发现465

8.3.1 慢SQL发现的功能466

8.3.2 现有技术466

8.3.3 慢SQL发现采取的策略469

8.3.4 关键源码解析471

8.3.5 使用示例475

8.4 智能索引推荐476

8.4.1 使用场景476

8.4.2 现有技术476

8.4.3 实现原理477

8.4.4 关键源码解析480

8.4.5 使用示例483

8.5 指标采集、预测与异常检测487

8.5.1 使用场景487

8.5.2 实现原理487

8.5.3 关键源码解析489

8.5.4 使用示例492

8.5.5 演进路线493

8.6 AI查询时间预测494

8.6.1 使用场景494

8.6.2 现有技术494

8.6.3 实现原理495

8.6.4 关键源码解析500

8.6.5 使用示例505

8.6.6 演进路线505

8.7 DeepSQL 506

8.7.1 使用场景506

8.7.2 现有技术506

8.7.3 关键源码解析507

8.7.4 基于MADlib框架的扩展508

8.7.5 MADlib在openGauss上的使用示例511

8.7.6 演进路线513

8.8 本章小结513

第9章 安全管理源码解析514

9.1 安全管理整体架构与代码514

9.2 安全认证516

9.2.1 身份认证517

9.2.2 口令存储520

9.2.3 认证机制522

9.2.4 Kerberos安全认证529

9.3 角色创建与角色管理531

9.3.1 角色创建531

9.3.2 角色管理536

9.4 权限管理与权限检查545

9.4.1 权限管理545

9.4.2 权限检查551

9.5 审计与追踪553

9.5.1 审计日志设计553

9.5.2 审计执行555

9.6 数据安全技术561

9.6.1 数据加解密接口561

9.6.2 数据动态脱敏570

9.6.3 密态等值查询578

9.7 本章小结593

0章 备份恢复机制594

10.1 openGauss全量备份技术594

10.1.1 gs_basebackup备份工具594

10.1.2 gs_basebackup备份交互流程595

10.2 openGauss增量备份技术598

10.2.1 gs_probackup子命令599

10.2.2 gs_probackup主要文件608

10.2.3 gs_probackup备份恢复流程609

10.2.4 redo日志增量备份恢复流程613

10.3 本章小结613

李国良 清华大学计算机系副主任、教授、博士生导师。在数据库会议和期刊上发表150余篇，他引10000余次。先后主持国家杰出青年科学基金、青年基金、“青年973”等多个项目。获得VLDB青年贡献奖，IEEE数据工程杰出新人奖，国家科学技术进步二等奖，VLDB、KDD、ICDE、CIKM奖（提名奖）。担任SIGMOD 2021大会主席。
张树杰 华为数据库技术专家，长期从事数据库内核开发工作，精通数据库内核原理和架构设计，目前在华为高斯实验室负责GaussDB SQL引擎的开发和技术规划，著有《PostgreSQL技术内幕：查询优化深度探索》《PostgreSQL技术内幕：事务处理深度探索》等图书。

本书是华为技术有限公司官方图书。由我国有名数据库科学家李国良教授与华为数据库技术专家张树杰联合编著。本书系统介绍了openGauss数据库内核及源码分析，是学习openGauss的参考工具书。