音像云原生分布式存储基石 etcd深入解析华为云容器服务团队 等

   前言

部分基础篇

章分布式系统与一致协议2

1.1CAP原理3

1.2一致5

1.2.1一致模型7

1.2.2一致模型分述9

1..复制状态机16

1.2.4拜占庭将军问题18

1.2.5FLP不可能19

1.2.6小结21

1.3Paxos协议22

1.4Raft协议：为可理解而24

1.4.1Raft一致算法26

1.4.2可用与时序45

1.4.3异常情况46

1.4.4日志压缩与快照52

1.4.5Raft算法能评估56

1.4.6小结58

第二部分实战篇

第2章为什么使用etcd62

2.1etcd是什么64

2.2etcd架构简介66

2.2.1etcd数据通道69

2.2.2etcd架构71

.etcd典型应用场景举例72

..1服务注册与发现72

..2消息发布和订阅75

..负载均衡76

..4分布式通知与协调77

..5分布式锁78

..分布式队列80

..集群监控与Leader竞选81

..小结2

2.4etcd能测试82

2.4.1etcd读能2

2.4.2etcd写能3

2.5etcd与键值存储系统的对比84

2.5.1ZooKeeperVSetcd85

2.5.2ConsulVSetcd88

2.5.3NewSL（CloudSpanner、CockroachDB、TiDB）VSetcd88

2.5.4使用etcd做分布式协同89

2.5.5小结90

2.6使用etcd的项目90

2.7etcd概念词汇表91

2.8etcd发展里程碑92

2.8.1etcd0.4版本93

2.8.2etcd2.0版本93

2.8.3etcd3.0版本93

第3章etcd初体验95

3.1单机部署95

3.1.1单实例etcd95

3.1.2多实例etcd98

3.2多节点集群化部署100

3.2.1静态配置101

3.2.2服务发现104

3.3etcdctl常用命令行107

3.3.1key的常规操作107

3.3.2key的历史与watch112

3.3.3租约115

3.4etcd常用配置参数117

3.4.1member相关参数项117

3.4.2cluster相关参数项118

3.4.3proxy相关参数项120

3.4.4安全相关参数项120

3.4.5日志相关参数项121

3.4.6不安全参数项121

3.4.7统计相关参数项122

3.4.8认相关参数项122

第4章etcd开放API之v21

4.1API保124

4.2etcdv2API126

4.2.1集群管理API126

4.2.2键值API126

4..键的TTL130

4.2.4等待变化通知：watch134

4.2.5自动创建有序key146

4.2.6目录TTL148

4.2.7原子的CAS149

4.2.8原子的CAD151

4.2.9创建目录153

4.2.10罗列目录154

4.2.11删除目录156

4.2.12获取一个隐藏节点157

4.2.13通过文件设置key158

4.2.14线读158

4.3统据158

4.3.1Leader数据159

4.3.2节点自身的数据160

4.3.3更多统据161

4.4memberAPI162

4.4.1Listmember162

4.4.2加入一个member163

4.4.3删除一个member163

4.4.4修改member的peerURL164

第5章etcd开放API之v3165

5.1从etcdv2到etcdv3166

5.1.1gRPC167

5.1.2序列化和反序列化优化167

5.1.3减少TCP连接167

5.1.4租约机制167

5.1.5etcdv3的观察者模式168

5.1.6etcdv3的数据存储模型169

5.1.7etcdv3的迷你事务170

5.1.8快照171

5.1.9大规模watch171

5.2gRPC服务172

5.3请求和响应174

5.4KVAPI176

5.4.1键值对176

5.4.2revision177

5.4.3键区间178

5.4.4RangeAPI178

5.4.5PUT调用181

5.4.6事务182

5.4.7Compact调用186

5.5watchAPI186

5.5.1Event187

5.5.2流式watch187

5.6LeaseAPI190

5.6.1获得租约190

5.6.2KeepAlives192

5.7API使用示例192

第6章etcd集群运维与稳定195

6.1etcd升级195

6.1.1etcd从.升级到3.0195

6.1.2etcd从3.0升级到3.1199

6.2从etcdv2切换到v3202

6.2.1切换客户端代码202

6.2.2数据迁移203

6.3运行时重配置204

6.3.1两阶段配置更新保集群安全205

6.3.2失去半数以上member206

6.4参数调优207

6.4.1时间参数207

6.4.2快照208

6.4.3磁盘209

6..络209

6.5监控209

6.6维护210

6.6.1压缩历史版本210

6.6.2消除碎片化211

6.6.3存储配额211

6.6.4快照备份213

6.7灾难恢复213

6.7.1快照214

6.7.2恢复集群214

6.8etcd网关215

6.8.1什么时候使用etcd网关216

6.8.2什么时候不该使用etcd网关216

6.8.3启动etcd网关217

6.9gRPC代理217

6.9.1可扩展的watchAPI218

6.9.2限制219

6.9.3可扩展的带租的AI219

6.9.4服务端保护220

6.9.5启动gRPC代理220

6.9.6客户端节点同步和域名解析221

6.9.7名字空间222

6.10故障恢复2

6.10.1小部分从节点故障2

6.10.2主节点故障224

6.10.3大部分节点故障224

6.10.4网络分区224

6.10.5集群启动异常225

6.11硬件225

第7章etcd安全1

7.1访问安全1

7.1.1权限资源2

7.1.2键值资源4

7.1.3配置资源4

7.2etcd访问控制实践5

7.2.1User相关命令5

7.2.2Role相关命令

7..启用用户权限功能

7.3传输安全

7.3.1TLS/SSL工作原理

7.3.2使用TLS加密etcd通信241

……

杜军，于浙江大学计算机科学与技术专业,《Docker——容器与容器云》Kubernetes部分的作者，就职于华为Cloud BU PaaS服务开发部，研究方向：容器技术、PaaS和分布式存储系统。熟悉云计算、虚拟化、容器技术、分布式存储、容器网络等技术，活跃于开源社区，是etcd社区的核心贡献者，Kubernetes社区优选前100位贡献者之一，2017年的CNUTCon讲师。