音像MySL技术内幕 InnoDB存储引擎 第2版姜承尧

序

前言

章MySL体系结构和存储引擎1

1.1定义数据库和实例1

1.2MySL体系结构3

1.3MySL存储引擎5

1.3.1InnoDB存储引擎6

1.3.2MyISAM存储引擎7

1.3.3NDB存储引擎7

1.3.4Memory存储引擎8

1.3.5Archive存储引擎9

1.3.6Federated存储引擎9

1.3.7Maria存储引擎9

1.3.8存储引擎9

1.4各存储引擎之间的比较10

1.5连接MySL3

1.5.1TCP/IP13

1.5.2命名管道和共享内存15

1.5.3UNIX域套接字15

1.6小结15

第2章InnoDB存储引擎17

2.1InnoDB存储引擎概述17

2.2InnoDB存储引擎的版本18

.InnoDB体系架构19

..1后台线程19

..2内存22

2.4Checkpoint技术32

2.5MasterThread工作方式36

2.5.1InnDB.0.x版本之前的MasterThread36

2.5.2InnDB.2.x版本之前的MasterThread41

2.5.3InnDB.2.x版本的MasterThread45

2.6InnoDB关键特45

2.6.1插入缓冲46

2.6.2两次写53

2.6.3自适应哈希索引55

2.6.4异步IO57

2.6.5刷新邻接页58

2.7启动、关闭与恢复58

2.8小结61

第3章文件62

3.1参数文件62

3.1.1什么是参数63

3.1.2参数类型64

3.2日志文件65

3.2.1错误日志66

3.2.2慢查询日志67

3..查询日志72

3.2.4二进制日志73

3.3套接字文件83

3.4pid文件83

3.5表结构定义文件84

3.6InnoDB存储引擎文件84

3.6.1表空间文件85

3.6.2重做日志文件86

3.7小结90

第4章表91

4.1索引组织表91

4.2InnoDB逻辑存储结构93

4.2.1表空间93

4.2.2段95

4..区5

4.2.4页101

4.2.5行101

4.3InnoDB行记录格式102

4.3.1Compact行记录格式103

4.3.2Redundant行记录格式106

4.3.3行溢出数据110

4.3.4Compressed和Dynamic行记录格式117

4.3.5CHAR的行结构存储117

4.4InnoDB数据页结构120

4.4.1FileHeader121

4.4.2PageHeader122

4.4.3Infimum和SupremumRecords1

4.4.4UserRecords和FreeSpace1

4.4.5PageDirectry24

4.4.6FileTrailer124

4.4.7InnoDB数据页结构示例分析125

4.5NamedFileFormats机制132

4.6约束134

4.6.1数据完整134

4.6.2约束的创建和查找135

4.6.3约束和索引的区别137

4.6.4对错误数据的约束137

4.6.5ENUM和SET约束139

4.6.6触发器与约束139

4.6.7外键约束142

4.7视图144

4.7.1视图的作用144

4.7.2物化视图147

4.8分区表152

4.8.1分区概述152

4.8.2分区类型155

4.8.3子分区168

4.8.4分区中的NULL值172

4.8.5分区和能176

4.8.6在表和分区间交换数据180

4.9小结182

第5章索引与算法183

5.1InnoDB存储引擎索引概述183

5.2数据结构与算法184

5.2.1二分查找法184

5.2.2二叉查找树和平衡二叉树185

5.3B+树187

5.3.1B+树的插入操作187

5.3.2B+树的删除操作190

5.4B+树索引191

5.4.1聚集索引192

5.4.2辅索引196

5.4.3B+树索引的分裂200

5.4.4B+树索引的管理202

5.5Cardinality值210

5.5.1什么是Cardinality210

5.5.2InnoDB存储引擎的Cardinality统计212

5.6B+树索引的使用215

5.6.1不同应用中B+树索引的使用215

5.6.2联合索引215

5.6.3覆盖索引218

5.6.4优化器选择不使用索引的情况219

5.6.5索引提示221

5.6.6Multi-RangeRead优化2

5.6.7IndexConditionPushdown（ICP）优化226

5.7哈希算法227

5.7.1哈希表228

5.7.2InnoDB存储擎的哈希算法229

5.7.3自适应哈希索引0

5.8全文检索1

5.8.1概述1

5.8.2倒排索引2

5.8.3InnoDB全文检索

5.8.4全文检索240

5.9小结248

第6章锁249

6.1什么是锁249

6.2lock与latch250

6.3InnoDB存储擎的锁252

6.3.1锁的类型252

6.3.2一致非锁定读258

6.3.3一致锁定读261

6.3.4自增长与锁262

6.3.5外键和锁264

6.4锁的算法265

6.4.1行锁的3种算法265

6.4.2解决PhantomProblem269

6.5锁问题271

6.5.1脏读271

6.5.2不可重复读273

6.5.3丢失更新274

6.6阻塞276

6.7死锁278

6.7.1死锁的概念278

6.7.2死锁概率280

6.7.3死锁的示例281

6.8锁升级283

6.9小结284

第7章事务285

7.1认识事务285

7.1.1概述285

7.1.2分类287

7.2事务的实现294

7.2.1redo294

7.2.2undo305

7..purge317

7.2.4groupcommit319

7.3事务控制语句3

7.4隐式提交的SL语句328

7.5对于事务操作的统计329

7.6事务的隔离级别330

7.7分布式事务335

7.7.1MySL数据库分布式事务335

7.7.2内部XA事务340

7.8不好的事务习惯341

7.8.1在循环中提交341

7.8.2使用自动提交343

7.8.3使用自动回滚344

7.9长事务347

7.10小结349

第8章备份与恢复350

8.1备份与恢复概述350

8.冷备52

8.3逻辑备份353

8.3.1mysqldump353

8.3.2SELECT...INTOOUTFILE360

8.3.3逻辑备份的恢复362

8.3.4LOADDATAINFILE362

8.3.5mysqlimport364

8.4二进制日志备份与恢复366

8.5热备367

8.5.1ibbackup367

8.5.2XtraBackup368

8.5.3XtraBackup实现增量备份370

8.6快照备份372

8.7复制376

8.7.1复制的工作原理376

8.7.2快照+复制的备份架构380

8.8小结382

第9章能调优383

9.1选择合适的CPU383

9.2内存的重要34

9.3硬盘对数据库能的影响387

9.3.1传统机械硬盘387

9.3.2固态硬盘387

9.4合理地设置RA389

9.4.1RA类型389

9.4.2RAWriteBack功能392

9.4.3RA配置工具394

9.5操作系统的选择397

9.6不同的文件系统对数据库能的影响398

9.7选择合适的基准测试工具399

9.7.1sysbench399

9.7.2mysql-tpcc405

9.8小结410

0章InnoDB存储引擎源代码的编译和调试411

10.1获取InnoDB存储引擎源代码411

10.2InnoDB源代码结构413

10.3MySL.1版本编译和调试InnoDB源代码415

10.3.1Windows下的调试415

10.3.2Linux下的调试418

10.4cmake方式编译和调试InnoDB存储引擎4

10.5小结424

姜承尧（David Jiang）资深：MySI，数据库专，擅于库的故障诊断、能调优、容灾处理、高可用和高扩展研究，同时一直致力于MySL擞据库底层实现原理的研究和探索。此外，对高能数据库和数据仓库也有深刻而独到的理解。曾为MySL编写了许多开源工具和能扩展补丁，如广受的InnoDB引擎二级缓存项目。现任网易杭州研究院革术经理一职，负责MySL数据库的内按开发，参与设计与开发：MySL。数据库在网易云环境中的应用。曾担任久游网数据库工程部经理，曾领导并参与了多个大型核心数据库的设计、实施、管理和维护，实战经验丰富。