KUBERNETES云原生数据管理

序....................................................................................xv 前言................................................................................xix 第 1 章  云原生数据基础设施 ：持久化、流式传输与批量分析.............. 1 基础设施类型 ................................................................................................................2 云原生数据是什么 .........................................................................................................3 数据基础设施越多，问题越多 ......................................................................................5 Kubernetes 引领潮流......................................................................................................6 Kubernetes 计算管理 ..............................................................................................7 Kubernetes 网络管理 ..............................................................................................8 Kubernetes 存储管理 ..............................................................................................8 云原生数据组件 .............................................................................................................9 迎接变革 ...................................................................................................................... 11 采用 SRE 思维方式 .............................................................................................. 11 遵循云原生数据基础设施准则 ............................................................................. 13 小结 ............................................................................................................................. 15 第 2 章  通过 Kubernetes 管理数据存储................................... 16 Docker，容器和状态 ................................................................................................... 16 在 Docker 中管理状态 .......................................................................................... 17 ix 绑定挂载 .............................................................................................................. 18 卷 ......................................................................................................................... 19 Tmpfs 挂载 ........................................................................................................... 20 卷驱动程序........................................................................................................... 20 Kubernetes 数据存储资源 ............................................................................................ 22 Pod 和卷 ............................................................................................................... 22 PV ........................................................................................................................ 28 PVC ...................................................................................................................... 32 StorageClass ......................................................................................................... 35 Kubernetes 存储架构.................................................................................................... 37 Flexvolume ........................................................................................................... 37 CSI ....................................................................................................................... 38 CAS ...................................................................................................................... 40 COSI .................................................................................................................... 42 小结 ............................................................................................................................. 44 第 3 章  打造 Kubernetes 数据库........................................... 45 困难模式 ...................................................................................................................... 45 在 Kubernetes 上运行数据基础设施的前提 ................................................................. 46 在 Kubernetes 上运行 MySQL ..................................................................................... 47 ReplicaSet .................................................................................................................... 48 Deployment .......................................................................................................... 49 Service .................................................................................................................. 53 访问 MySQL......................................................................................................... 56 在 Kubernetes 上运行 Apache Cassandra ..................................................................... 58 StatefulSet ............................................................................................................ 60 访问 Cassandra ..................................................................................................... 70 小结 ............................................................................................................................. 72 第 4 章  通过 Helm 在 Kubernetes 上自动部署数据库.................. 73 通过 Helm Chart 部署应用 ........................................................................................... 74 通过 Helm 部署 MySQL .............................................................................................. 75 Helm 的工作方式 ................................................................................................. 78 Label .................................................................................................................... 80 ServiceAccount ..................................................................................................... 81 Secret.................................................................................................................... 81 ConfigMap ............................................................................................................ 82 更新 Helm Chart ................................................................................................... 84 卸载 Helm Chart ................................................................................................... 85 使用 Helm 部署 Apache Cassandra .............................................................................. 85 亲和性与反亲和性 ............................................................................................... 87 Helm、CI/CD 及 Operator .................................................................................... 90 小结 ............................................................................................................................. 92 第 5 章  通过 Operator 自动管理 Kubernetes 数据库...................93 扩展 Kubernetes 控制平面 ........................................................................................... 94 扩展 Kubernetes 客户端 ....................................................................................... 94 扩展 Kubernetes 主节点组件 ................................................................................ 95 扩展 Kubernetes 工作节点组件 ............................................................................ 96 Operator 模式 ............................................................................................................... 97 控制器 .................................................................................................................. 97 自定义资源........................................................................................................... 99 Operator ............................................................................................................. 101 使用 Vitess Operator 管理 Kubernetes MySQL .......................................................... 103 Vitess 概述 ......................................................................................................... 103 PlanetScale Vitess Operator ................................................................................ 106 不断发展的 Operator 生态体系 .................................................................................. 116 选择 Operator ..................................................................................................... 116 构建 Operator ..................................................................................................... 119 小结 ........................................................................................................................... 121 第 6 章  在 Kubernetes 上集成数据基础设施............................ 123 K8ssandra：生产就绪的 Kubernetes 上的 Cassandra ................................................. 123 K8ssandra 架构 ................................................................................................... 124 安装 K8ssandra Operator .................................................................................... 125 创建 K8ssandraCluster ....................................................................................... 128 使用 Cass Operator 在 Kubernetes 上管理 Cassandra ................................................. 130 使用 Stargate API 提高开发人员的工作效率 ............................................................. 134 基于 Prometheus 和 Grafana 的统一监控基础设施 .................................................... 136 使用 Cassandra Reaper 进行修复 ............................................................................... 140 使用 Cassandra Medusa 进行数据备份与恢复 ........................................................... 142 创建备份 ............................................................................................................ 143 备份恢复 ............................................................................................................ 144 在 Kubernetes 上部署多集群应用 .............................................................................. 145 小结 ........................................................................................................................... 151 第 7 章  Kubernetes 原生数据库.......................................... 152 为什么需要 Kubernetes 原生方式 .............................................................................. 152 使用 TiDB 进行大规模混合数据访问 ........................................................................ 154 TiDB 架构 .......................................................................................................... 155 在 Kubernetes 上部署 TiDB................................................................................ 157 配置 DataStax Astra DB 的无服务器 Cassandra ......................................................... 165 在 Kubernetes 原生数据库中寻找什么....................................................................... 172 基本要求 ............................................................................................................ 172 Kubernetes 原生技术的未来 ............................................................................... 174 小结 ........................................................................................................................... 176 第 8 章  Kubernetes 数据流式传输........................................ 177 流式传输简介 ............................................................................................................ 177 传输类型 ............................................................................................................ 178 传输保证 ............................................................................................................ 179 功能范围 ............................................................................................................ 180 流式传输在 Kubernetes 上的作用 .............................................................................. 181 通过 Apache Pulsar 在 Kubernetes 上实现流式传输 .................................................. 183 准备环境 ............................................................................................................ 186 使用 cert-manager 配置默认的安全通信 .................................................................... 188 通过 Helm 部署 Apache Pulsar ........................................................................... 192 通过 Apache Flink 进行流分析 .................................................................................. 192 在 Kubernetes 上部署 Apache Flink ................................................................... 195 小结 ........................................................................................................................... 197 第 9 章  Kubernetes 数据分析.............................................198 数据分析简介 ............................................................................................................ 199 在 Kubernetes 上部署分析工作负载 .......................................................................... 200 Apache Spark 简介 ..................................................................................................... 203 在 Kubernetes 上部署 Apache Spark .......................................................................... 204 构建自定义容器 ................................................................................................. 206 提交并运行应用 ................................................................................................. 206 Apache Spark 专用的 Kubernetes Operator ................................................................ 207 Kubernetes 调度器替代品 .......................................................................................... 210 Apache YuniKorn ................................................................................................ 212 Volcano ............................................................................................................... 214 Kubernetes 专用分析引擎 .......................................................................................... 217 Dask ................................................................................................................... 219 Ray ..................................................................................................................... 221 小结 ........................................................................................................................... 223 第 10 章  机器学习及其他新兴用例..........................................224 云原生 AI/ML 技术栈 ................................................................................................ 224 AI/ML 定义 ........................................................................................................ 225 定义 AI/ML 技术栈 ............................................................................................ 227 使用 KServe 进行实时模型服务 ......................................................................... 228 使用 Feast 进行特征的全生命周期管理 ............................................................. 231 使用 Milvus 进行向量相似度搜索 ..................................................................... 234 使用 Apache Arrow 实现高效的数据移动 .................................................................. 236 使用 lakeFS 管理对象存储的版本 ............................................................................. 239 小结 ........................................................................................................................... 242 第 11 章  将数据工作负载迁移到 Kubernetes 上........................244 愿景：应用感知平台 ................................................................................................. 244 描绘成功的蓝图 ......................................................................................................... 246 人员 .................................................................................................................... 247 技术 .................................................................................................................... 250 流程 .................................................................................................................... 256 云原生数据的未来 ..................................................................................................... 261 小结 ........................................................................................................................... 264 关于作者..........................................................................266 关于封面..........................................................................266