正版 万亿级流量转发:BFE核心技术与实现 章淼//杨思杰//戴明//

原理篇
第1章 BFE简介
1.1 什么是BFE
1.2 BFE平台介绍
1.2.1 为什么需要构建BFE平台
1.2.2 BFE平台的主要功能
1.3 BFE开源项目介绍
1.3.1 BFE平台的模块组成
1.3.2 BFE开源项目中的内容
第2章 网络前端接入技术简介
2.1 什么是网络前端接入
2.2 网络前端接入面临的挑战
2.3 百度的网络前端接入方案
2.4 网络前端接入技术的发展趋势
第3章 网络负载均衡技术简介
3.1 负载均衡的概念
3.2 网络负载均衡功能的实现
3.2.1 机制说明
3.2.2 两种方式对比
3.3 四层负载均衡和七层负载均衡
设计篇
第4章 BFE的设计思想
4.1 BFE转发引擎重构的缘起
4.2 BFE为什么要基于Go语言
4.3 BFE转发引擎的主要设计思想
4.4 BFE和相关开源项目的对比
第5章 BFE的转发模型
5.1 转发模型概述
5.1.1 基本概念
5.1.2 转发过程
5.1.3 对多租户实现机制的讨论
5.2 BFE的路由转发机制
5.3 条件表达式
5.3.1 设计思想
5.3.2 基本概念
5.3.3 语法介绍
5.3.4 条件原语匹配的内容
5.3.5 条件原语名称的规范
5.4 内网流量调度机制
5.4.1 内网流量调度背景介绍
5.4.2 内网流量调度工作机制
5.4.3 内网转发的其他机制
第6章 与转发相关的关键机制
6.1 健康检查机制
6.1.1 健康检查的原理
6.1.2 主动健康检查和被动健康检查
6.1.3 分布式健康检查和集中式健康检查
6.1.4 BFE的健康检查
6.2 超时设置
6.2.1 BFE和客户端间通信的超时
6.2.2 BFE和后端实例间通信的超时
6.3 BFE信息透传
6.3.1 客户端IP地址的透传
6.3.2 其他信息的透传
6.4 限流机制
6.4.1 限流的概念
6.4.2 限流的配置
6.4.3 分布式限流
6.4.4 入口限流和目的限流
6.4.5 限流和内网流量调度
第7章 运维相关机制
7.1 监控机制
7.1.1 日志监控及其问题
7.1.2 BFE的内部状态输出
7.1.3 统计状态和日志的配合使用
7.2 Web Monitor基础库
7.2.1 Web Monitor概述
7.2.2 状态变量维护
7.2.3 延迟统计变量维护
7.2.4 建立专用的Web服务器
7.2.5 注册回调函数
7.3 日志机制
7.3.1 日志类型
7.3.2 日志打印的注意事项
7.3.3 BFE的访问日志
7.4 配置管理
7.4.1 BFE配置文件的分布
7.4.2 常规配置和动态配置
7.4.3 动态配置的实现机制
第8章 HTTPS的优化
8.1 HTTPS优化背景及必要性
8.2 HTTPS优化的挑战
8.3 HTTPS中的优化机制
8.4 BFE中HTTPS相关增强机制
操作篇
9章 BFE服务的安装部署
9.1 软件安装包下载安装
9.2 源代码编译方式安装
9.3 Docker方式安装
9.4 BFE命令行参数
9.5 查看BFE服务的运行状态
第10章 BFE服务的基础配置
10.1 场景说明
10.2 修改基础配置文件
10.3 转发的配置
10.3.1 转发配置流程
10.3.2 具体案例
10.3.3 服务访问验证
10.3.4 配置的重新加载
第11章 配置负载均衡算法及会话保持
11.1 子集群间的负载均衡
11.2 子集群级别的会话保持
11.2.1 配置实例
11.2.2 参数的具体含义
11.3 实例间的负载均衡
11.3.1 加权轮询配置示例
11.3.2 最小连接数的配置示例
11.4 实例级别的会话保持
第12章 配置HTTPS和更多协议
12.1 设置HTTPS基础配置
12.1.1 配置HTTPS端口
12.1.2 配置加密套件
12.1.3 配置服务端证书
12.1.4 配置TLS规则
12.2 配置TLS会话重用
12.2.1 配置会话缓存
12.2.2 配置会话票证
12.3 配置TLS双向认证
12.4 对不同安全等级的区分
12.5 支持更多协议
12.5.1 HTTP/2配置
12.5.2 SPDY配置
12.5.3 WebSocket配置
12.5.4 连接后端服务的协议
第13章 其他常用配置
13.1 配置重写
13.1.1 开启重写
13.1.2 模块配置
13.1.3 重写动作详细描述
13.2 配置重定向
13.2.1 开启重定向
13.2.2 模块配置
13.2.3 重定向动作详细描述
13.3 配置限流功能
13.3.1 开启限流模块
13.3.2 模块配置
13.3.3 限制特定维度的流量
13.3.4 设置限流门限
13.3.5 设置限流动作
实现篇
第14章 BFE的基础实现
14.1 BFE的代码组织
14.2 BFE的进程模型
14.2.1 协程的分类
14.2.2 并发模型
14.2.3 并发能力
14.2.4 异常恢复机制
14.3 请求处理流程
14.3.1 连接的建立
14.3.2 连接的处理
14.3.3 请求的处理
14.3.4 请求的结束
14.3.5 连接的结束
14.4 请求路由实现
14.4.1 关键数据结构
14.4.2 目的租户路由
14.4.3 目的集群路由
14.5 负载均衡实现
14.5.1 全局负载均衡
14.5.2 分布式负载均衡
第15章 模块插件机制
15.1 BFE的回调点设置
15.2 BFE内置的扩展模块
15.3 模块框架的实现机制
15.3.1 模块基础类型
15.3.2 连接/请求处理及回调函数的调用
15.4 如何开发BFE扩展模块
15.4.1 配置加载
15.4.2 回调函数的编写和注册
15.4.3 模块状态的展示
第16章 核心协议实现
16.1 HTTP的实现
16.1.1 HTTP代码的组织
16.1.2 从用户读取HTTP请求
16.1.3 向后端转发请求并获取响应
16.1.4 向用户回复HTTP响应
16.2 HTTP2的实现
16.2.1 HTTP2代码的组织
16.2.2 HTTP2连接处理模块
16.2.3 HTTP2连接相关协程及关系
第17章 BFE的多进程GC机制
17.1 模型设计
17.1.1 多进程轮转机制
17.1.2 子进程状态定义
17.2 相关参数的确定
17.2.1 切换时间参数的选择
17.2.2 子进程数量的计算
17.2.3 内存消耗的计算

戴明，百度资深研发工程师，主要从事BFE相关系统和产品的研发工作。曾在朗讯、诺基亚等电信设备公司工作，从事电信软件研发和架构设计工作多年。, 章淼，博士，百度智能云架构师，BFE开源项目发起人。1997年至2006年在清华大学从事互联网协议和网络体系结构的研究。2012年加入百度，一直从事网络基础架构的研发工作。同时积极推动百度的代码质量和工程能力的提升，目前兼任百度代码规范委员会主席。, 陶春华，博士，百度资深研发工程师。201 0年毕业于天津大学计算机系，2013年加入百度，先后参与智能流量调度、BFE的G0语言重构、BFE管控平台等重大项目。目前工作重心是负载均衡商业产品的研发。爱好较为广泛，除解决各种技术问题外，业余时间喜欢做菜。, 杨思杰，百度资深研发工程师，BFE开源项目主要负责人。从零开始参与百度新一代BFE转发平台的建设及创新，拥有近1 0年在网络接入和系统架I构方面的深入研究和实践经l验。关注于通过开源驱动基础软件可持续发展及创造更大的价值。

"推荐序一 BFE 团队是我在负责百度运维部时领命组建的团队，得到章淼老师邀请为新书作序，思绪立刻穿越回数年前…… 当时还没有云计算、大数据这些在今天已耳熟能详的概念。发展中的互联网技术体系更像是一辆“加速奔驰中不断更新零部件并升级引擎”的汽车，一切都在快速成长着。在百度，当时就设定了远超行业标准的可用性、低延时的要求。十年前的网络条件是“带宽小、速度慢”，我们希望做到从用户输入查询词、按下回车键开始计时，在一百毫秒内让用户“看”得到搜素结果。持续的高可用、低延时，让百度产品在可用性方面树立了用户口碑。 网络上曾流传一个段子：百度一下，测试网络通不通。BFE 就是保障百度可用性口碑的关键支柱之一。当时的数据中心已经分布多地，数据中心电力、交换机、服务器和网络传输线路故障频发，伪装用户请求的攻击、程序故障、数据错误等各类问题每时每刻都在发生。BFE 就是在这样的背景下立项研发的。它的诞生是为了解决具体的问题，在实战中它成为百度数百亿请求的很前沿用户触点，确保在各种情况下都能让用户获得高品质的服务，找到所求。 BFE 团队在刚组建时只有不到十个人，经过多年大浪淘沙，技术信仰和工程文化成为这个团队的底色。记得和章淼老师曾有过多次深入讨论，当时的行业环境中程序员有很多，而真正的软件研发工程师却不多。面对纷繁复杂的产品需求，能够抽象并定义“目标问题”是工程能力方面的一项基本功，一个很好的工程师既能够在“空间”上有清晰的架构思想，又能在“时间”上快速支持新需求、新功能的融入。 BFE 在发展早期也曾面临各类需求纷涌而来，快速实现的功能堆砌通常会耗散一个工程项目的架构健壮性和长期可持续性。BFE 在短期功能需求、系统架构整体性、可持续性、产品化及易用性方面始终坚持“系统工程”“长期主义”的理念，因而才有了如今经得起各类场景检验的产品。在发展的历程中，BFE 还曾经成为个用Go 语言实现的大型项目，其中各种系统性思考和技术、组织的取舍不一一赘述了。 以十年磨一剑的精神，以“科技为更好”的理念，BFE 诞生于网民数量和互联网流量井喷的时点，成长于手机用户和移动互联网蓬勃增长的时期。特别是在大力倡导并发展核心科技的新时代，BFE 再次以开放、开源的方式走进各行各业，成为国产软件中的佼佼者，得到社区和企业的广泛认可。 愿BFE 和信仰技术的开发者们，为数字化、智能化时代贡献更多技术力量，为更多的技术信仰者照亮前行之路！ 李硕 百度副总裁 推荐序二 2012 年年初，我在百度担任运维部主任架构师，一直在思考对整个系统架构的梳理和优化。当时我加入百度已经有几个月的时间，对其系统架构有了比较清楚的了解，发现百度在前期业务的快速发展中，缺乏在基础架构上的系统思考和构建。 那个时候，百度已经有很多个不同的业务线，但是对于各个业务的技术后台，很多是各自独立发展起来的，因此，在架构上比较分散，服务部署也比较分散，运维流程比较多样化。这种异构的、分散的系统架构给高效运维带来了很大挑战。例如，我们很难了解和把控一些新的服务的部署，很难对各个服务的健康状况进行统一监控，很难对百度的整个平台的流量进行统计，很难对海量的用户请求进行服务调度，很难对大量的后台服务器做负载均衡，很难对安全漏洞进行系统防御，例如对DDoS 攻击进行自动应对，也很难对恶意爬虫进行识别和屏蔽。 这当然不是行业内出现的新问题。我加入百度之前在谷歌的SRE（Site Reliability Engineering）团队工作。谷歌也有着极其复杂多样的产品、规模庞大的流量、优选异地部署的服务和数据中心。但是其精心设计的基础架构和运维工具，让工程师可以从互联网的任何一个角落进行系统运维和流量调度——只需要一两行命令和几分钟时间。这个设计中的关键之一，是一个统一的流量接入层GFE（Google Frontend）。 基于在谷歌的工作经验，我决定先着手搭建百度的统品质量接入层，于是在2012 年年初，组建了一个四人的小团队，在开源的Web 服务器Lighttpd 的基础上，开发了BFE 的初版。很初，我们只在BFE 上接入了少量的业务系统，并在自动化运维、软件的灰度发布、流量的负载均衡等方面收到了不错的效果；后来逐渐扩展到接入百度全部流量，并和百度的安全团队、爬虫团队等多个团队配合，在BFE上实现了越来越多的功能。 章淼是在2012 年BFE 项目成立不久后加入的，并在我离开百度之后全面接手了BFE 的工作，使得BFE 的功能得以持续发展和迭代。尤其在后来，章淼又以极大的勇气和技术自信对BFE 用Go 语言进行了重写，这也是国内少有用Go 语言实现的大型项目。BFE 有比较好的架构和代码质量，很大原因是来自章淼的把控。作为清华计算机系的毕业生，章淼对于编程的艺术是有着持续的追求的。他在百度也专门开设了一门课程“代码的艺术”，听说在百度内部也备受好评。我们期待 BFE 也能够成为一个比较好的编程的范例。 回过头来看，BFE 项目从启动至今已经有9 年时间了，但是还保持着活力。这一方面是因为章淼对技术的不断追求，另一方面是因为百度巨大的用户流量所带来的持续的挑战，同时也因为项目在开源之后来自开源社区的很多很好的工程师的积极参与。BFE 项目在过去几年已经培养了一批很好的软件工程师，团队早期的部分同学后来从百度“毕业”，陆续成为很多其他互联网公司的中流砥柱。 我期待，BFE项目以及章淼的这本书可以帮助到更多软件工程师的成长。 夏华夏 美团首席科学家 2020年6月27日 推荐序三 收到邀请为《万亿级流量转发：BFE核心技术与实现》一书写推荐序我很好激动，如同前几年在听到BFE 开源的消息时一样兴奋，因为这源自功能强大、经历过实战考验的百度流量转发平台。我为BFE 能够被更广泛使用，进而在更广阔的领域发挥其技术价值而兴奋，为能推动行业技术和社会的发展而激动。 BFE 从诞生的那天起已经陪伴我9 年的时间，我到现在都不能忘记BFE 项目成立时和大家一起讨论如何在百度NS（New Search）产品试点的情景。在2016 年我统一管理百度运维部大前端接入项目时，有幸和BFE 团队的同学们一起解决手机百度等核心业务的网络质量提升问题。到度小满金融独立时，我毫不犹豫地选择了BFE 并一直应用到现在，其稳定性一直很好好。很好感谢BFE团队，感谢BFE 这个产品。 BFE 是怎样炼成的，我总结有三点。 首先是BFE 经历了百度场景下大规模流量实战考验。这是在百度巨大的业务体量环境下，历经数年打磨形成的。 其次是，BFE 团队是在章淼老师的严格带动下创建的。提到重构后的BFE 团队，就不得不说到核心人物——章淼，人称章老师，平时很好和蔼可亲，为学、做事则极为严谨，对代码质量要求极高，章老师的《代码的艺术》讲座在公司内外流传广泛，影响可见一斑。在BFE 多年开发迭代过程中，其平台能力、代码质量是有口皆碑的，度小满金融成立之初在流量接入产品选型上直接敲定了使用BFE 的方案，看重的正是BFE 平台背后有这样一支有实力、有能力的开发团队，有章老师这样务实严谨的技术带头人。 很后是开源的力量。BFE 项目从开源到现在已有两年，在度小满金融应用三年有余，这个过程更是一个不断成长的过程。《万亿级流量转发：BFE核心技术与实现》对于广大互联网从业者熟悉、使用、扩展模块或向开源项目贡献代码，将起到积极的作用。相信随着应用范围的进一步扩展，BFE 必将促进互联网接入技术的进步，向世界范围内的用户提供很好的软件，推动产业界的技术进步和生产力提升，造福更多的人。 在这里，向各位读者推荐这本书，期待BFE 帮助更多的人解决问题，期待着更多的人参与到BFE 开源项目中来。 陈存利 度小满金融技术总监 作为BFE 曾经的建设者和使用者，我一直把它当作守护百度众多产品的“门神”。在用户流量接入、服务可靠性建设方面，百度将多年的经验和智慧沉淀其中，在2019 年百度春晚活动的很好决战中，BFE 扛住了极限并发流量的冲击，让整个活动进展得如丝般顺滑。 BFE 是十年磨一剑的作品，是百度工程实践的代表性作品之一，本书毫无保留地把这一切奥秘分享给大家，一定能在大家解决实际问题时给以启发。同时，我从本书中看到的是百度工程师务实、自驱、追求很好的工程态度，也希望它能给在工程实践中持续追求很好的同路人以力量。 贺锋 百度智能办公平台部总监 BFE 是百度统一的七层负载均衡接入转发平台。BFE 平台从2012 年开始建设。截至2020 年年底，BFE 平台每日转发的请求超过1 万亿次，日峰值请求超过每秒1000 万次查询。章淼博士是BFE 平台的主要设计者和推动者，特别是推动BFE 在2019 年成为开源项目，这一决策让整个业界都可以从中获益。我很高兴看到章淼博士及团队推出了这样一本全面介绍BFE 架构和关键技术的新书，相信本书能够进一步推动BFE 在业界的影响和应用。我愿意推荐本书给广大信息技术从业者和技术开发人员。 徐恪 清华大学计算机系教授、副系主任 BFE 在互联网基础设施领域像一枚大型火箭炮，不追求面子上对于某些性能的很好指标，但从架构设计之初就充分考虑了各种大型复杂战场的实战需求。面对各种挑战，无论是互联网业务自身复杂多变、快速伸缩的场景，还是互联网技术日新月异的变化，BFE 都能高效、称手、可靠地完成各种作战任务。 韦韬 蚂蚁集团副总裁 招商银行选择百度BFE 作为招行私有云负载均衡和流量调度总入口，是因为遇到过Nginx 等其他软件无法解决的难题，包括租户支持、配置热加载副作用小、快速启动、灵活的条件表达式、充分而超大规模的验证等。现在，BGW 和BFE 在招行云逐步实现了对F5 的替代。作为BFE 的深度用户，招行既研究了BFE 的开源代码，学习了章淼等老师的著作，也有 了大量使用经验和些许建议。从用户角度来说，本书逻辑通顺，描述清晰。无论是原理或机制介绍，还是操作和实现步骤，都切实可行。我想这与章淼老师团队一贯注重软件工程质量和代码艺术是分不开的。BFE 是一个好产品，推荐更多读者和我们一起推动BFE开源社区不断发展壮大！ 熊爱国 招商银行云计算项目组负责人、招商银行杰出人才 站在安全者的角度来说，在改变内容安全的道路上，我们也尝试过很多支撑类产品，但效果都不太理想，直到我们遇到了它——BFE 平台。经过一段时间真刀真枪的使用（先线下再线上），它确实让我们眼前一亮：因我们网站的属性有别于商业网站，BFE 通过纯正的开源血统，很快地融入了我们现有的技术架构当中，且具有出色的转发性能和丰富的功能特色。 站在使用者的角度来说，我们很满意。在此也期待BFE 在开源生态的长河中，为更多的小伙伴们带来更多的亮点。 戴鸣泉 央视网网络安全部总监 我是在很早之前通过Go Team 的Robert 的介绍知道了BFE 项目，这是专享一个通过Go 官方的人才知道的国内开源项目，也说明BFE 在靠前化方面做得很好好，因为项目得到了Go Team 的认可。BFE 作为目前国内优选的流量转发开源项目，这一次章博士和他的团队出版的新书终于能够让更多读者深度地去了解BFE 背后的设计原理和实现。 谢孟军 Gopher China社区创始人，积梦智能CEO 在云计算时代浪潮下，大规模、高并发的技术架构已成为主流。云计算的高速发展，离不开底层基础设施的创新与改进。传统七层负载均衡架构已无法满足复杂的网络集群，由此，百度在云时代的巨量请求背景下产出了BFE 产品，并在内部不断总结七层负载均衡技术的很好实践，这本书对BFE 庖丁解牛，内容全面详尽，这本书值得每一位与云计算基础相关领域的工程师阅读。 郑东旭 BFE 开源项目Maintainer、《Kubernetes源码剖析》作者"

本书围绕BFE开源项目，介绍网络前端接入和网络负载均衡的相关技术原理，说明BFE开源软件的设计思想和实现机制，讲解如何基于BFE开源软件搭建网络接入平台。
本书共17章，分为四个部分。第一部分为原理篇，介绍BFE开源项目的概貌，并对网络前端接入技术和网络负载均衡技术做简要介绍；第二部分为设计篇，介绍BFE开源项目的设计细节，包括BFE的设计思想、BFE的转发模型、BFE的关键机制和HTTPS的优化等；第三部分为操作篇，说明如何安装和部署BFE、如何在各种使用场景下配置BFE；第四部分为实现篇，从处理流程、插件机制、协议实现等方面说明BFE的实现机制。
本书面向的读者包括计算机网络方向的研究者、网络相关技术的开发者、一般后台程序的开发者和负载均衡系统的使用者等。

"1.突破云端海量极限、百度十年技术积淀——BFE核心技术抢先发售落地成书。 2.BFE是优选个将Go语言用于大规模网络接入转发的平台，每日转发流量请求超万亿次。 3.经历百度春晚红包很好决战，是扛鼎极限并发流量冲击的实战派宝典。 4.浓缩百度技术团队多年对系统升级迭代的创新、技术、实践和积累。 5.本书涵盖了BFE 的原理设计、架构实践、开发扩展等方面，读者在学习掌握BFE 的同时，也可以对流量调度、转发接入、负载均衡有新的理解。 6.读者对象：计算机网络方向的研究者、网络相关技术的开发者、一般后台程序的开发者和负载均衡系统的使用者等。"