微服务与事件驱动架构 [加]亚当·贝勒马尔(Adam Bellemare) 著 温正东 译 专业科技 文轩网

前言 xv 第  1 章 为什么用事件驱动型微服务  1 1.1  什么是事件驱动型微服务  2 1.2  领域驱动设计和界限上下文  3 1.2.1  运用领域模型和界限上下文  4 1.2.2  保持界限上下文与业务需求一致  4 1.3  沟通结构  5 1.3.1  业务沟通结构  5 1.3.2  实现沟通结构  6 1.3.3  数据沟通结构  7 1.3.4  康威定律和沟通结构  7 1.4  传统计算中的沟通结构  8 1.4.1  选项1：创建一个新服务  8 1.4.2  选项2：将它加入现有服务中  9 1.4.3  两种选项的利弊  9 1.4.4  团队场景（续）  10 1.4.5  冲突的压力  10 1.5  事件驱动的沟通结构  11 1.5.1  事件是通信的基础  11 1.5.2  事件流提供了单一事实来源  11 1.5.3  消费者执行自己的建模和查询  11 1.5.4  整个组织的数据沟通得到改善  12 1.5.5  高可访问的数据利于业务变更  12 1.6  异步的事件驱动型微服务  12 1.7  同步式微服务  14 1.7.1  同步式微服务的缺点  14 1.7.2  同步式微服务的优点  15 1.8  小结  16 第  2 章 事件驱动型微服务基础  17 2.1  构建拓扑  17 2.1.1  微服务拓扑  17 2.1.2  业务拓扑  18 2.2  事件内容  19 2.3  事件的结构  19 2.3.1  无键事件  19 2.3.2  实体事件  20 2.3.3  键控事件  20 2.4  物化来自实体事件的状态  20 2.5  事件数据的定义和schema  22 2.6  微服务单一写原则  22 2.7  用事件代理赋能微服务  23 2.7.1  事件存储和服务  23 2.7.2  需要考虑的其他因素  24 2.8  事件代理与消息代理  25 2.8.1  从不可变日志中消费  26 2.8.2  提供单一事实来源  27 2.9  大规模管理微服务  28 2.9.1  将微服务放到容器内  28 2.9.2  将微服务放到虚拟机内  28 2.9.3  管理容器和虚拟机  28 2.10  缴纳微服务税  29 2.11  小结  30 第  3 章 通信和数据契约  31 3.1  事件驱动数据契约  31 3.1.1  使用显式schema作为契约  32 3.1.2  schema定义的注释  32 3.1.3  全能的schema演化  33 3.1.4  有代码生成器支持  33 3.1.5  破坏性的schema变更  34 3.2  选择事件格式  36 3.3  设计事件  36 3.3.1  只讲述事实  36 3.3.2  每个流都使用单一事件定义  37 3.3.3  使用最窄的数据类型  37 3.3.4  保持事件的单一用途  37 3.3.5  最小化事件  40 3.3.6  让潜在的消费者参与事件设计  40 3.3.7  避免将事件作为信号量或信号  41 3.4  小结  41 第  4 章 将事件驱动架构与现有系统集成  42 4.1  什么是数据解放  43 4.1.1  数据解放的折中方案  43 4.1.2  将被解放的数据转化成事件  45 4.2  数据解放模式  45 4.3  数据解放框架  46 4.4  通过查询实施数据解放  46 4.4.1  批量加载  47 4.4.2  增量时间戳加载  47 4.4.3  自增ID 加载  47 4.4.4  自定义查询  47 4.4.5  增量更新  47 4.4.6  基于查询更新的优点  48 4.4.7  基于查询更新的缺点  48 4.5  使用变更数据捕获日志解放数据  49 4.5.1  使用数据存储日志的优点  50 4.5.2  使用数据库日志的缺点  50 4.6  使用发件箱表解放数据  51 4.6.1  性能考虑  52 4.6.2  隔离内部数据模型  52 4.6.3  确保schema兼容性  53 4.6.4  使用触发器捕获变更数据  56 4.7  对处于捕获的数据集做数据定义变更  59 4.7.1  为查询和CDC日志模式处理事后数据定义变更  60 4.7.2  为变更数据表捕获模式处理数据定义变更  60 4.8  将事件数据落地到数据存储  60 4.9  数据落地和获取对业务的影响  60 4.10  小结  62 第  5 章 事件驱动处理基础  63 5.1  构建无状态拓扑  64 5.1.1  转换  64 5.1.2  分流与合流  65 5.2  对事件流再分区  65 5.3  对事件流协同分区  66 5.4  给消费者实例分配分区  67 5.4.1  使用分区分配器分配分区  68 5.4.2  分配协同分区  68 5.4.3  分区分配策略  68 5.5  从无状态处理实例故障中恢复  70 5.6  小结  70 第  6 章 具有确定性的流处理  71 6.1  事件驱动工作流的确定性  72 6.2  时间戳  72 6.2.1  同步分布式时间戳  73 6.2.2  处理带时间戳的事件  74 6.3  事件调度和确定性处理  75 6.3.1  自定义事件调度器  75 6.3.2  基于事件时间、处理时间和摄取时间进行处理  75 6.3.3  消费者提取时间戳  76 6.3.4  对外部系统的“请求–响应”调用  76 6.4  水位  76 6.5  流时间  78 6.6  乱序事件和迟到事件  80 6.6.1  使用水位和流时间的迟到事件  81 6.6.2  乱序事件的原因和影响  81 6.6.3  时间敏感的函数和窗口化  83 6.7  处理迟到事件  85 6.8  再处理与近实时处理  86 6.9  间歇性故障和迟到事件  86 6.10  生产者/事件代理的连接性问题  87 6.11  小结与延展阅读  88 第  7 章 有状态的流  89 7.1  状态存储与从事件流中物化状态  89 7.2  记录状态到变更日志事件流  90 7.3  将状态物化至内部状态存储  91 7.3.1  物化全局状态  92 7.3.2  使用内部状态的优点  92 7.3.3  使用内部状态的缺点  93 7.3.4  内部状态的伸缩和恢复  93 7.4  将状态物化至外部状态存储  96 7.4.1  外部状态的优点  97 7.4.2  外部状态的缺点  97 7.4.3  外部状态存储的伸缩和恢复  98 7.5  重建与迁移状态存储  99 7.5.1  重建  99 7.5.2  迁移  100 7.6  事务与有效一次处理  100 7.6.1  示例：库存计算服务  101 7.6.2  使用“客户端–代理”事务的有效一次处理  102 7.6.3  没有“客户端–代理”事务的有效一次处理  103 7.7  小结  107 第  8 章 用微服务构建工作流  108 8.1  编排模式  109 8.1.1  一个简单的事件驱动编排示例  109 8.1.2  创建和修改编排的工作流  110 8.1.3  监控编排的工作流  110 8.2  编制模式  111 8.2.1  一个简单的事件驱动编制模式例子  112 8.2.2  一个简单的直接调用的编制模式例子  113 8.2.3  对比事件驱动编制模式和直接调用的编制模式  114 8.2.4  创建和修改编制工作流  114 8.2.5  监控编制工作流  115 8.3  分布式事务  115 8.3.1  编排型事务：saga模式  115 8.3.2  编制型事务  117 8.4  补偿工作流  119 8.5  小结  119 第  9 章 使用“函数即服务”的微服务  120 9.1  设计基于函数的微服务解决方案  120 9.1.1  确保界限上下文的严格的成员关系  120 9.1.2  只在完成处理之后提交偏移量  121 9.1.3  少即是多  121 9.2  选择FaaS供应商  122 9.3  在函数之外构建微服务  122 9.4  冷启动和热启动  123 9.5  用触发器启动函数  124 9.5.1  基于新事件触发：事件流监听器  124 9.5.2  基于消费者组的滞后度触发  125 9.5.3  按调度表触发  126 9.5.4  使用网络钩子触发  126 9.5.5  触发资源事件  127 9.6  用函数执行业务工作  127 9.7  维持状态  127 9.8  调用其他函数的函数  128 9.8.1  事件驱动通信模式  128 9.8.2  直接调用模式  129 9.9  终止和关闭  131 9.10  调整函数  132 9.10.1  分配足够的资源  132 9.10.2  批量事件处理的参数  132 9.11  FaaS的伸缩方案  132 9.12  小结  133 第  10 章 基础的生产者和消费者微服务  134 10.1  BPC的适用场合  134 10.1.1  集成现有遗留系统  135 10.1.2  不依赖于事件顺序的有状态的业务逻辑  136 10.1.3  当数据层完成大部分工作时  137 10.1.4  处理层和数据层独立伸缩  137 10.2  具有外部流处理的混合BPC应用程序  138 10.3  小结  140 第  11 章 使用重量级框架的微服务  141 11.1  重量级框架的简单历史  142 11.2  重量级框架的内部运作  142 11.3  优点和局限性  144 11.4  集群搭建方案和执行模式  145 11.4.1  使用托管服务  146 11.4.2  构建自己的完整集群  146 11.4.3  使用CMS集成来创建集群  146 11.5  应用程序提交模式  148 11.5.1  驱动器模式  148 11.5.2  集群模式  148 11.6  处理状态和使用检查点  148 11.7  伸缩应用程序和处理事件流分区  149 11.7.1  伸缩运行中的应用程序  150 11.7.2  通过重启伸缩应用程序  153 11.7.3  自动伸缩应用程序  153 11.8  从故障中恢复  153 11.9  考虑多租户问题  153 11.10  语言和语法  154 11.11  选择一个框架  154 11.12  示例：点击和观看的会话窗口  155 11.13  小结  157 第  12 章 使用轻量级框架的微服务  158 12.1  优点和局限性  158 12.2  轻量级处理  159 12.3  处理状态和使用变更日志  159 12.4  伸缩和故障恢复  160 12.4.1  事件洗牌  160 12.4.2  状态分配  161 12.4.3  状态复制和热副本  161 12.5  选择一个轻量级框架  161 12.5.1  Apache Kafka Streams  162 12.5.2  Apache Samza：嵌入模式  162 12.6  语言和语法  162 12.7  流–表–表联结：增强模式  163 12.8  小结  166 第  13 章 集成事件驱动型和“请求–响应”型微服务  167 13.1  处理外部事件  167 13.1.1  自动生成的事件  168 13.1.2  由响应生成的事件  168 13.2  处理自动生成的分析事件  168 13.3  集成第三方“请求–响应”API  170 13.4  处理并提供有状态的数据  171 13.4.1  实时请求内部状态存储  172 13.4.2  实时请求外部状态存储  175 13.5  在事件驱动的工作流中处理请求  177 13.6  “请求–响应”应用程序中的微前端  183 13.7  微前端的优点  184 13.7.1  基于组合的微服务  184 13.7.2  容易与业务需求对齐  185 13.8  微前端的缺点  185 13.8.1  可能不一致的UI元素和样式  185 13.8.2  不同的微前端性能  185 13.8.3  示例：体验搜索与评论应用程序  186 13.9  小结  188 第  14 章 支持性工具  190 14.1  微服务–团队分配系统  190 14.2  事件流的创建和修改  191 14.3  事件流元数据标记  191 14.4  限额  192 14.5  schema注册表  192 14.6  schema创建和修改通知  193 14.7  偏移量管理  193 14.8  事件流的权限和访问控制列表  194 14.9  状态管理和应用程序重置  195 14.10  消费者偏移量滞后度监控  196 14.11  流水线型的微服务创建流程  196 14.12  容器管理控制  197 14.13  集群创建和管理  197 14.13.1  事件代理的程序化创建  197 14.13.2  计算资源的程序化创建  198 14.13.3  跨集群事件数据复制  198 14.13.4  工具的程序化创建  198 14.14  依赖跟踪和拓扑可视化  199 14.15  小结  202 第  15 章 测试事件驱动型微服务  203 15.1  通用测试原则  203 15.2  单元测试拓扑函数  203 15.2.1  无状态的函数  204 15.2.2  有状态的函数  204 15.3  测试拓扑  205 15.4  测试schema演化和兼容性  205 15.5  事件驱动型微服务的集成测试  206 15.6  本地集成测试  206 15.6.1  在测试代码的运行时内创建临时环境  208 15.6.2  在测试代码外部创建临时环境  209 15.6.3  使用mocking和模拟器方法集成托管服务  209 15.6.4  集成没有本地支持的远程服务  210 15.7  完全远程集成测试  211 15.7.1  程序化创建临时集成测试环境  211 15.7.2  使用共享环境进行测试  213 15.7.3  使用生产环境进行测试  214 15.8  选择你的完全远程集成测试策略  214 15.9  小结  215 第  16 章 部署事件驱动型微服务  216 16.1  微服务部署的原则  216 16.2  微服务部署的架构组件  217 16.2.1  持续集成系统、持续交付系统和持续部署系统  217 16.2.2  CMS和商业硬件  218 16.3  基本的全站式部署模式  218 16.4  滚动更新模式  220 16.5  破坏性的schema变更模式  220 16.5.1  通过两个事件流达到最终迁移  222 16.5.2  同步迁移到新事件流  222 16.6  蓝绿部署模式  223 16.7  小结  224 第  17 章 结论  225 17.1  通信层  225 17.2  业务领域和界限上下文  226 17.3  可共享的工具和基础设施  226 17.4  结构化事件  226 17.5  数据解放和单一事实来源  227 17.6  微服务  227 17.7  微服务实现方案  228 17.8  测试  228 17.9  部署  229 17.10  结语  229 关于作者  230 关于封面  230