诺森Apache Airflow 数据编排实战

第Ⅰ部分 入门

章 遇见Apache Airflow 3

1.1 数据管道介绍 3

1.1.1 数据管道的图形表示 4

1.1.2 运行管道图 5

1.1.3 管道图与顺序脚本 6

1.1.4 使用工作流管理器运行数据流 8

1.2 Airflow介绍 9

1.2.1 通过Python代码灵活定义数据管道 9

1.2.2 调度并执行数据管道 10

1.. 监控和处理故障 11

1.2.4 增量载入和回填 14

1.3 何时使用Airflw 4

1.3.1 选择Airflow的原因 14

1.3.2 不使用Airflow的理由 15

1.4 本书的其余部分 15

1.5 本章小结 16

第2章 Airflow DAG深度解析 17

2.1 从大量数据源中收集数据 17

2.2 编写你的个Airflow DAG 19

2.2.1 任务与operator 22

2.2.2 运行任意Python代码

. 在Airflow中运行DAG 25

..1 在Python环境中运行Airflow 25

..2 在Docker容器中运行Airflow 26

.. 使用Airflow图形界面 27

2.4 运行定时任务 31

2.5 处理失败的任务 32

2.6 本章小结 34

第3章 Airflow中的调度 35

3.1 示例：处理用户事件 35

3.2 定期执行DAG 37

3.2.1 使用调度器计划运行 37

3.2.2 基于cron的时间间隔 38

3.. 基于频率的时间间隔 40

3.3 增量处理数据 40

3.3.1 获取增量事件数据 40

3.3.2 使用执行日期的动态时间参考 42

3.3.3 对数据执行分区 43

3.4 理解Airflow的执行日期 45

3.5 使用回填技术填补过去的空白 47

3.6 任务设计的很好实践 49

3.6.1 原子 49

3.6.2 幂等 51

3.7 本章小结 52

第4章 使用Airflow context对任务进行模板化 53

4.1 为Airflow准备数据 53

4.2 任务context和Jinja模板 55

4.2.1 对operator使用参数模板 56

4.2.2 模板中可用的变量及表达式 57

4.. 对PythonOperator使用模板 60

4.2.4 为PythonOperator提供变量 64

4.2.5 检查模板化参数 66

4.3 连接到系统 67

4.4 本章小结 74

第5章 定义任务之间的依赖关系 75

5.1 基本依赖关系 75

5.1.1 线依赖关系 75

5.1.2 扇入/扇出依赖 77

5.2 分支 79

5.2.1 在任务内部执行分支操作 79

5.2.2 在DAG中使用分支技术 81

5.3 带有条件的任务 85

5.3.1 在任务内部使用条件 85

5.3.2 对DAG使用条件 86

5.3.3 使用内置operator 88

5.4 触发条件详解 88

5.4.1 什么是触发规则 88

5.4.2 失败的影响 89

5.4.3 触发规则 90

5.5 在任务之间共享数据 91

5.5.1 使用XCom共享数据 91

5.5.2 XCom的适用场景 94

5.5.3 使用自定义XCom后端存储 95

5.6 使用Taskflow API连接Python任务 95

5.6.1 使用Taskflow API简化Python任务 96

5.6.2 Taskflow API的适用场景 98

5.7 本章小结 99

第Ⅱ部分 Airflow深入学习

第6章 触发工作流 103

6.1 带有传感器的轮询条件 103

6.1.1 轮询自定义条件 106

6.1.2 传感器的异常情况 107

6.2 触发DAG 110

6.2.1 使用TriggerDagRunOperator执行回填操作 114

6.2.2 轮询 DAG 的状态 114

6.3 使用REST/CLI启动工作流 117

6.4 本章小结 120

第7章 与外部系统通信 121

7.1 连接到云服务 122

7.1.1 安装额外的依赖软件包 122

7.1.2 开发一个机器学习模型 1

7.1.3 在本地开发外部系统程序 128

7.2 在系统之间移动数据 134

7.2.1 实现PostgresToS3Operatr 36

7.2.2 将繁重的任务“外包”出去 139

7.3 本章小结 141

第8章 创建自定义组件 143

8.1 从PythonOperator开始 143

8.1.1 模拟电影评分API 144

8.1.2 从API获取评分数据 146

8.1.3 构建具体的DAG 149

8.2 创建自定义hook 151

8.2.1 设定自定义hook 151

8.2.2 使用MovielensHook构建DAG 156

8.3 构建自定义operatr 58

8.3.1 创建自定义operatr 58

8.3.2 创建用于获取评分数据的operatr 59

8.4 创建自定义传感器 162

8.5 将你的组件打包 165

8.5.1 引导Python包 166

8.5.2 安装你的Python包 168

8.6 本章小结 169

第9章 测试 171

9.1 开始测试 171

9.1.1 所有DAG的完整测试 172

9.1.2 设置C/C管道 177

9.1.3 编写单元测试 179

9.1.4 pytest项目结构 180

9.1.5 使用磁盘上的文件测试 184

9.2 在测试中使用DAG和任务context 186

9.3 使用测试进行开发 198

9.4 使用Whirl模拟生产环境 201

9.5 创建DTAP环境 201

9.6 本章小结 201

0章 在容器中运行任务 203

10.1 同时使用多个不同operator所面临的挑战 203

10.1.1 operator接口和实现 204

10.1.2 复杂且相互的依赖关系 204

10.1.3 转向通用operator 205

10.2 容器 205

10.2.1 什么是容器 206

10.2.2 运行个Docker容器 207

10.. 创建Docker映像 207

10.2.4 使用卷持久化数据 209

10.3 容器与Airflow 212

10.3.1 容器中的任务 212

10.3.2 为什么使用容器 212

10.4 在Docker中运行任务 213

10.4.1 使用DockerOperator 213

10.4.2 为任务创建容器映像 215

10.4.3 使用Docker任务创建DAG 218

10.4.4 基于Docker的工作流 220

10.5 在Kubernetes中运行任务 221

10.5.1 Kubernetes介绍 221

10.5.2 设置Kubernetes 222

10.5.3 使用KubernetesPodOperator 225

10.5.4 诊断Kubernetes相关的问题 228

10.5.5 与基于docker的工作流的区别 0

10.6 本章小结 1

第Ⅲ部分 Airflow实践

1章 很好实现 5

11.1 编写清晰的DAG 5

11.1.1 使用风格约定 5

11.1.2 集中管理凭

11.1.3 统一指定配置详细信息 240

11.1.4 避免在DAG定义中计算 242

11.1.5 使用工厂函数生成通用模式 244

11.1.6 使用任务组对相关任务进行分组 247

11.1.7 为重大变更创建新的DAG 248

11.2 设计可重用的任务 249

11.2.1 要求任务始终满足幂等 249

11.2.2 任务结果的确定 249

11.. 使用函数式范式设计任务 250

11.3 高效处理数据 250

11.3.1 处理的数据量 250

11.3.2 增量载入与增量处理 252

11.3.3 缓存中间数据 252

11.3.4 不要将数据存储在本地文件系统 253

11.3.5 将工作卸载到外部系统或源系统 253

11.4 管理资源 254

11.4.1 使用资源池管理并发 254

11.4.2 使用SLA和告警来检测长时间运行的任务 255

11.5 本章小结 256

2章 在生产环境中使用Airflow 257

12.1 Airflow架构 258

12.1.1 挑选适合的执行器 259

12.1.2 为Airflow配置metastore 259

12.1.3 深入了解调度器 261

12.2 安装每个执行器 265

12.2.1 设置SequentialExecutor 266

12.2.2 设置LocalExecutor 266

12.. 设置CeleryExecutor 267

12.2.4 设置KubernetesExecutor 269

1. 捕获所有Airflow进程的日志 276

1..1 捕获Web服务器输出 276

1..2 捕获调度器输出 277

1.. 捕获任务日志 278

1..4 将日志发送到远程存储 278

12.4 可视化及监控Airflow指标 279

12.4.1 从Airflow收集指标 279

12.4.2 配置Airflow以发送指标 280

12.4.3 配置Prometheus以收集指标 281

12.4.4 使用Grafana创建仪表板 283

12.4.5 应监控的指标 285

12.5 如何获得失败任务的通知 287

12.5.1 DAG和operator内的告警 287

12.5.2 定义服务级别协议(SLA) 289

12.6 可伸缩与能 290

12.6.1 控制优选运行任务数 290

12.6.2 系统能配置 292

12.6.3 运行多个调度器 292

12.7 本章小结 293

3章 Airflow安全 295

13.1 保护Airflow Web界面 296

13.1.1 将用户添加到RBAC界面 296

13.1.2 配置RBAC界面 299

13.2 加密静态数据 300

13.3 连接LDAP服务 301

13.3.1 理解LDAP 302

13.3.2 从LDAP服务获取用户 304

13.4 加密与Web服务器的通信 305

13.4.1 了解HTTPS 305

13.4.2 为HTTPS配置 307

13.5 从认管理系统获取凭 311

13.6 本章小结 314

4章 实战：探索游览纽约市的快方式 315

14.1 理解数据 318

14.1.1 Yellow Cab文件共享 318

14.1.2 Citi Bike REST API 319

14.1.3 确定算法 320

14.2 提取数据 320

14.2.1 下载Citi Bike数据 321

14.2.2 下载Yellow Cab数据 3

14.3 对数据应用类似的转换 325

14.4 构建数据管道 330

14.5 开发幂等的数据管道 331

14.6 本章小结 333

第Ⅳ部分 在云端

5章 Airflow在云端 337

15.1 设计云端部署策略 337

15.2 云端专用的hook和operator 339

15.3 托管服务 340

15.3.1 Astronomer.io 340

15.3.2 Google Cloud Coer 340

15.3.3 适用于Apache Airflow的Amazon托管工作流 341

15.4 选择部署策略 342

15.5 本章小结 342

6章 在AWS中运行Airflow 345

16.1 在AWS中部署Airflow 345

16.1.1 选择云服务 345

16.1.2 设计网络 347

16.1.3 添加DAG同步 347

16.1.4 使用CeleryExecutor扩展 348

16.1.5 后续步骤 349

16.2 针对AWS的hook和operator 350

16.3 用例：使用AWS Athena进行无服务器的电影排名 351

16.3.1 用例概要 352

16.3.2 设置资源 352

16.3.3 创建DAG 355

16.3.4 环境清理 360

16.4 本章小结 361

7章 在Azure中使用Airflow 363

17.1 在Azure中部署Airflow 363

17.1.1 选择服务 363

17.1.2 设计网络 364

17.1.3 使用CeleryExecutor扩展 365

17.1.4 后续步骤 366

17.2 针对Azure设计的hook和operator 367

17.3 示例：在Azure上运行无服务器的电影程序 367

17.3.1 示例概要 368

17.3.2 设定资源 368

17.3.3 创建DAG 372

17.3.4 环境清理 377

17.4 本章小结 378

8章 在GCP中运行Airflow 379

18.1 在GCP中部署Airflow 379

18.1.1 选择服务 379

18.1.2 使用Helm在GKE上部署Airflow 381

18.1.3 与Google服务集成 383

18.1.4 设计网络 385

18.1.5 通过CeleryExecutor扩展 386

18.2 针对GCP的hook和operator 388

18.3 用例：在GCP上运行无服务器的电影评级 392

18.3.1 上传到GCS 392

18.3.2 将数据导入Bigery 394

18.3.3 提取优选评分 396

18.4 本章小结 399

附录A 运行示例代码 401

附录B Airflw 和Airflow 2中的包结构 405

附录C Prometheus指标映 409

Bas Harenslak和Julian de Ruiter是数据，他们在为大公司开发数据管道方面拥有丰富的经验。同时，Bas也是一位Airflow的提交者。

数据管道通过整合、清理、分析、可视化等方式来管理初始收集的数据流。Apache Airflow提供了一个统一的平台，可以使用它设计、实施、监控和维护数据的流动。Airflow具有易于使用的UI、即插即用的选项以及灵活的Python脚本，这些都使Airflow能够轻松地完成任何数据管理任务。

在《Apache Airflow数据编排实战》中，介绍了如何构建和维护有效的数据管道。与你一同探索常见的使用模式，包括聚合多个数据源、连接到数据湖以及云端部署。可以将本书作为Airflow的实用指南，本书涵盖了为Airflow提供动力的有向无环图(DAG)的各方面知识，以及如何根据工作需求对其进行自定义的技术。

主要内容

●构建、测试及部署Airflow管道作为DAG

●自动对数据进行移动和转换

●使用回填技术分析历史数据集

●开发自定义组件

●在生产环境中搭建Airflow

"《Apache Airflow 数据编排实战》通过4部分深入浅出地介绍了什么是Airflow,如 何部署和使用Airflow, 并涉及许多深入的主题，让你对Airflow 能够有全面的了解，并 且在本书的第I部分，为大家提供了许多实用的案例，让你能够快速使用Airflow解决 工作中遇到的各种数据流处理问题。现在是云的时代，在本书的第IV部分介绍了大量的 上云示例，让你能够轻松地使用Airflow管理各种本地、云端或者二者混合在- -起的数 据流。 "