负载均衡:高并发网关设计原理与实践 爱奇艺网络虚拟化团队 著 专业科技 文轩网

目 录 第１章 负载均衡概述 ....................................................................................................... 1 1.1 从数据中心说起 ........................................................................................... 1 1.1.1 数据中心的发展历史 ......................................................................... 2 1.1.2 超融合数据中心架构和大型互联网架构 ............................................ 3 1.2 负载均衡必要性分析 .................................................................................... 4 1.2.1 负载均衡的作用 ................................................................................ 5 1.2.2 场景需求 ........................................................................................... 7 1.3 负载均衡的产生 ........................................................................................... 8 1.3.1 负载均衡的历史 ................................................................................ 9 1.3.2 负载均衡的现状 .............................................................................. 10 1.3.3 负载均衡面临的挑战 ....................................................................... 10 1.4 负载均衡的原理 ......................................................................................... 11 1.4.1 四层负载均衡的原理 ....................................................................... 11 1.4.2 七层负载均衡的原理 ....................................................................... 12 1.5 典型的负载均衡器介绍 .............................................................................. 13 1.5.1 LVS ................................................................................................. 13 1.5.2 Nginx .............................................................................................. 15 第 2 章 负载均衡详细介绍.............................................................................................. 18 2.1 四层负载均衡技术 ...................................................................................... 18 2.1.1 经典四层负载均衡器 LVS 的相关术语 ........................................... 19 2.1.2 LVS 转发模式及配置实例 ............................................................... 20 2.1.3 不同协议下的负载均衡 ................................................................... 27 2.1.4 获取真实的客户端 IP 地址和端口信息 ............................................ 31 2.2 七层负载均衡技术 ...................................................................................... 33 2.2.1 经典七层负载均衡器 Nginx 的部署架构 ........................................ 33 2.2.2 Nginx 转发粒度控制 ........................................................................ 34 2.2.3 获取真实的客户端 IP 地址和端口信息 ............................................ 35 2.3 Real Server 调度算法 ................................................................................. 35 2.3.1 轮询（RR） .................................................................................... 35 2.3.2 加权轮询（WRR） .......................................................................... 37 2.3.3 最少连接调度（LC） ...................................................................... 39 2.3.4 加权最少连接调度（WLC） ........................................................... 39 2.3.5 一致性哈希（CONNHASH） .......................................................... 41 2.3.6 连接模板 ......................................................................................... 43 第 3 章 负载均衡功能 ..................................................................................................... 45 3.1 基本功能特性 ............................................................................................. 46 3.1.1 负载均衡器的网络结构 ................................................................... 47 3.1.2 提供外网 VIP 和流量均衡 ............................................................... 50 3.1.3 提供内网 VIP 和 IDC 内部服务 ....................................................... 54 3.1.4 使用 SNAT 集群提供外网访问 ......................................................... 56 3.1.5 使用 SNAT 隧道服务无外网出口的 IDC .......................................... 58 3.1.6 服务隔离和安全控制 ....................................................................... 59 3.2 高可用性 .................................................................................................... 60 3.2.1 使用 Keepalived 做健康检查 ............................................................ 60 3.2.2 使用 VRRP 实现主备 ....................................................................... 62 3.2.3 使用 ECMP 实现集群化 ................................................................... 64 3.2.4 使用网卡绑定扩展单网卡流量 ......................................................... 65 3.3 高可扩展性 ................................................................................................ 65 3.3.1 扩展负载均衡器 .............................................................................. 66 3.3.2 扩展后端服务器 .............................................................................. 69 3.4 使用 BGP Anycast 实现多个 IDC 负载均衡和机房灾备 ............................... 72 第 4 章 现有负载均衡器比较 .......................................................................................... 74 4.1 四层负载均衡器 ......................................................................................... 74 4.1.1 硬件实现 ......................................................................................... 74 4.1.2 软件实现：Linux Virtual Server（LVS） .......................................... 75 4.1.3 软件实现方案对比 ........................................................................... 75 4.2 七层负载均衡器 ......................................................................................... 76 4.2.1 硬件实现 ......................................................................................... 76 4.2.2 软件实现：HAProxy ........................................................................ 77 4.2.3 实现方案对比：F-Stack 与 Nginx ..................................................... 77 第 5 章 负载均衡与云计算.............................................................................................. 79 5.1 负载均衡与弹性计算 .................................................................................. 79 5.2 跨区域调度与容灾 ...................................................................................... 80 5.3 API Gateway ............................................................................................... 82 第 6 章 网络协议优化 ..................................................................................................... 84 6.1 TCP 协议优化............................................................................................. 84 6.2 TLS/HTTPS 协议优化 ................................................................................. 87 6.2.1 TLS/HTTPS 协议的性能问题 ........................................................... 87 6.2.2 Session ID 及 Session Ticket ............................................................. 89 6.2.3 False-Start ........................................................................................ 93 6.2.4 TLS1.3 协议 .................................................................................... 94 6.2.5 硬件加速卡和计算分离 ................................................................... 98 6.2.6 自动化数字证书管理 ..................................................................... 100 6.3 HTTP 协议优化和 HTTP2.0 ...................................................................... 101 6.4 基于 UDP 的传输协议优化 ....................................................................... 104 6.4.1 基于 UDP 的传输协议简介 ............................................................ 104 6.4.2 QUIC 协议优化 ............................................................................. 106 6.5 DNS 协议优化 .......................................................................................... 115 第 7 章 性能优化 .......................................................................................................... 117 7.1 主要性能指标 ........................................................................................... 117 7.2 性能挑战与分析 ....................................................................................... 120 7.2.1 C10K 问题及 C10M 问题 ............................................................... 120 7.2.2 LVS 性能瓶颈分析 ........................................................................ 121 7.2.3 内核成为瓶颈的原因 ..................................................................... 123 7.3 高性能四层负载均衡关键技术 .................................................................. 126 7.3.1 Kernel Bypass 技术与 DPDK .......................................................... 127 7.3.2 Share-Nothing 思想 ........................................................................ 129 7.3.3 避免上下文切换 ............................................................................ 130 7.3.4 使用轮询而非中断 ......................................................................... 131 7.3.5 避免数据复制 ................................................................................ 131 7.3.6 其他技术 ....................................................................................... 131 7.4 使用 DPDK 加速四层负载均衡 ................................................................. 132 7.4.1 高性能负载均衡器的架构 .............................................................. 133 7.4.2 高性能负载均衡器功能模块 .......................................................... 136 7.4.3 数据流大图 ................................................................................... 144 7.4.4 项目开源的缘由和一些经验 .......................................................... 147 7.5 七层负载均衡性能优化 ............................................................................ 149 7.5.1 Nginx 调优 .................................................................................... 149 7.5.2 内核参数调优 ................................................................................ 152 7.5.3 利用近期新内核的特性 ..................................................................... 154 7.5.4 利用硬件卸载 ................................................................................ 156 7.6 性能测试环境与数据 ................................................................................ 158 7.6.1 大并发测试环境 ............................................................................ 158 7.6.2 四层负载均衡性能数据 ................................................................. 160 7.6.3 七层负载均衡性能数据 ................................................................. 161 7.7 大容量网卡 .............................................................................................. 163 第 8 章 安全设计 .......................................................................................................... 165 8.1 数据中心面临的安全问题 ......................................................................... 165 8.2 Syn-flood 攻击与防御 ............................................................................... 165 8.3 DDoS 与流量清洗 ..................................................................................... 167 8.4 黑名单与 ACL .......................................................................................... 167 8.5 WAF ......................................................................................................... 168 第 9 章 负载均衡实践 ................................................................................................... 171 9.1 服务配置部署 ........................................................................................... 171 9.1.1 主备模式与集群模式 ..................................................................... 171 9.1.2 部署 FullNAT 外网集群 ................................................................. 172 9.1.3 部署 FullNAT 内网集群 ................................................................. 173 9.1.4 部署 DR 集群 ................................................................................ 175 9.1.5 部署 SNAT 集群 ............................................................................ 175 9.1.6 部署 SNAT-GRE 集群 .................................................................... 177 9.1.7 部署 Nginx 集群 ............................................................................ 178 9.2 监控与故障分析 ....................................................................................... 179 9.2.1 负载均衡监控指标及基本监控 ....................................................... 179 9.2.2 监控数据成图 ................................................................................ 181 9.2.3 线上故障及排查实例 ..................................................................... 182 9.3 SLA 简介.................................................................................................. 182 9.3.1 服务自助化 ................................................................................... 183 9.3.2 服务告警 ....................................................................................... 183 9.3.3 流量异常检测 ................................................................................ 185 9.4 集群性能分析 ........................................................................................... 186 9.5 负载均衡与 Kubernetes 云原生 ................................................................ 188 9.5.1 负载均衡服务 ................................................................................ 189 9.5.2 Ingress ........................................................................................... 190 9.5.3 SNAT 出网访问 ............................................................................ 192 9.6 边缘计算 .................................................................................................. 193 第 10 章 展望 ............................................................................................................... 195