返回首页
网站导航
商家入驻
客户服务
我的订单
我的易购
苏宁会员
购物车 0
易付宝
企业采购
手机苏宁
句字图书专营店

服务体验

店铺评分与同行业相比

用户评价：----

物流时效：----

售后服务：----

  • 服务承诺： 正品保障
  • 公司名称：
  • 所 在 地：
进入店铺 关注店铺 商品地图
本店所有商品
句字图书专营店
  • 扫码下单
    进入店铺

  • [正版新书] Apache Airflow 数据编排实战 [荷] 巴斯·哈伦斯拉克 清华大学出版社

  • 新商品上架

    • 作者： [荷]著
    • 出版社： 清华大学出版社
    送至
  • 由""直接销售和发货，并提供售后服务
  • 加入购物车 购买电子书
    服务

    看了又看

    商品预定流程：

    查看大图
    /
    ×

    苏宁商家

    商家：
    句字图书专营店
    联系：

    • 商品

    • 服务

    • 物流

    进入店铺 关注店铺

    搜索店内商品

    • 关键词：
    • 价  格： -

    商品分类

    商品分类

    商品参数
    • 作者： [荷]著
    • 出版社：清华大学出版社
    • 开本：16开
    • ISBN：9787302618157
    • 版权提供：清华大学出版社

     书名：  Apache Airflow 数据编排实战
     出版社：  清华大学出版社
     出版日期  2022
     ISBN号：  9787302618157

    数据管道通过整合、清理、分析、可视化等方式来管理初始收集的数据流。Apache Airflow提供了一个统一的平台，可以使用它设计、实施、监控和维护数据的流动。Airflow具有易于使用的UI、即插即用的选项以及灵活的Python脚本，这些都使Airflow能够非常轻松地完成任何数据管理任务。

    在《Apache Airflow 数据编排实战》中，介绍了如何构建和维护有效的数据管道。与你一同探索最常见的使用模式，包括聚合多个数据源、连接到数据湖以及云端部署。可以将本书作为Airflow的实用指南，本书涵盖了为Airflow提供动力的有向无环图(DAG)的各方面知识，以及如何根据工作需求对其进行自定义的技术。

    主要内容

    ● 构建、测试及部署Airflow管道作为DAG

    ● 自动对数据进行移动和转换

    ● 使用回填技术分析历史数据集

    ● 开发自定义组件

    ● 在生产环境中搭建Airflow

    Bas Harenslak和Julian de Ruiter是数据工程师，他们在为大公司开发数据管道方面拥有丰富的经验。同时，Bas也是一位Airflow的提交者。

    《Apache Airflow 数据编排实战》通过4部分深入浅出地介绍了什么是Airflow,如何部署和使用Airflow, 并涉及许多深入的主题，让你对Airflow 能够有全面的了解，并且在本书的第I部分，为大家提供了许多实用的案例，让你能够快速使用Airflow解决工作中遇到的各种数据流处理问题。现在是云的时代，在本书的第IV部分介绍了大量的上云示例，让你能够轻松地使用Airflow管理各种本地、云端或者二者混合在- -起的数据流。

    第Ⅰ部分  入门
    第1章  遇见Apache Airflow 3
    1.1  数据管道介绍 3
    1.1.1  数据管道的图形表示 4
    1.1.2  运行管道图 5
    1.1.3  管道图与顺序脚本 6
    1.1.4  使用工作流管理器运行数据流 8
    1.2  Airflow介绍 9
    1.2.1  通过Python代码灵活定义数据管道 9
    1.2.2  调度并执行数据管道 10
    1.2.3  监控和处理故障 11
    1.2.4  增量载入和回填 14
    1.3  何时使用Airflow 14
    1.3.1  选择Airflow的原因 14
    1.3.2  不使用Airflow的理由 15
    1.4  本书的其余部分 15
    1.5  本章小结 16
    第2章  Airflow DAG深度解析 17
    2.1  从大量数据源中收集数据 17
    2.2  编写你的第一个Airflow DAG 19
    2.2.1  任务与operator 22
    2.2.2  运行任意Python代码 23
    2.3  在Airflow中运行DAG 25
    2.3.1  在Python环境中运行Airflow 25
    2.3.2  在Docker容器中运行Airflow 26
    2.3.3  使用Airflow图形界面 27
    2.4  运行定时任务 31
    2.5  处理失败的任务 32
    2.6  本章小结 34
    第3章  Airflow中的调度 35
    3.1  示例：处理用户事件 35
    3.2  定期执行DAG 37
    3.2.1  使用调度器计划性运行 37
    3.2.2  基于cron的时间间隔 38
    3.2.3  基于频率的时间间隔 40
    3.3  增量处理数据 40
    3.3.1  获取增量事件数据 40
    3.3.2  使用执行日期的动态时间参考 42
    3.3.3  对数据执行分区 43
    3.4  理解Airflow的执行日期 45
    3.5  使用回填技术填补过去的空白 47
    3.6  任务设计的最佳实践 49
    3.6.1  原子性 49
    3.6.2  幂等性 51
    3.7  本章小结 52
    第4章  使用Airflow context对任务进行模板化 53
    4.1  为Airflow准备数据 53
    4.2  任务context和Jinja模板 55
    4.2.1  对operator使用参数模板 56
    4.2.2  模板中可用的变量及表达式 57
    4.2.3  对PythonOperator使用模板 60
    4.2.4  为PythonOperator提供变量 64
    4.2.5  检查模板化参数 66
    4.3  连接到其他系统 67
    4.4  本章小结 74
    第5章  定义任务之间的依赖关系 75
    5.1  基本依赖关系 75
    5.1.1  线性依赖关系 75
    5.1.2  扇入/扇出依赖 77
    5.2  分支 79
    5.2.1  在任务内部执行分支操作 79
    5.2.2  在DAG中使用分支技术 81
    5.3  带有条件的任务 85
    5.3.1  在任务内部使用条件 85
    5.3.2  对DAG使用条件 86
    5.3.3  使用内置operator 88
    5.4  触发条件详解 88
    5.4.1  什么是触发规则 88
    5.4.2  失败的影响 89
    5.4.3  其他触发规则 90
    5.5  在任务之间共享数据 91
    5.5.1  使用XCom共享数据 91
    5.5.2  XCom的适用场景 94
    5.5.3  使用自定义XCom后端存储 95
    5.6  使用Taskflow API连接Python任务 95
    5.6.1  使用Taskflow API简化Python任务 96
    5.6.2  Taskflow API的适用场景 98
    5.7  本章小结 99
    第Ⅱ部分  Airflow深入学习
    第6章  触发工作流 103
    6.1  带有传感器的轮询条件 103
    6.1.1  轮询自定义条件 106
    6.1.2  传感器的异常情况 107
    6.2  触发其他DAG 110
    6.2.1  使用TriggerDagRunOperator执行回填操作 114
    6.2.2  轮询其他 DAG 的状态 114
    6.3  使用REST/CLI启动工作流 117
    6.4  本章小结 120
    第7章  与外部系统通信 121
    7.1  连接到云服务 122
    7.1.1  安装额外的依赖软件包 122
    7.1.2  开发一个机器学习模型 123
    7.1.3  在本地开发外部系统程序 128
    7.2  在系统之间移动数据 134
    7.2.1  实现PostgresToS3Operator 136
    7.2.2  将繁重的任务“外包”出去 139
    7.3  本章小结 141
    第8章  创建自定义组件 143
    8.1  从PythonOperator开始 143
    8.1.1  模拟电影评分API 144
    8.1.2  从API获取评分数据 146
    8.1.3  构建具体的DAG 149
    8.2  创建自定义hook 151
    8.2.1  设定自定义hook 151
    8.2.2  使用MovielensHook构建DAG 156
    8.3  构建自定义operator 158
    8.3.1  创建自定义operator 158
    8.3.2  创建用于获取评分数据的operator 159
    8.4  创建自定义传感器 162
    8.5  将你的组件打包 165
    8.5.1  引导Python包 166
    8.5.2  安装你的Python包 168
    8.6  本章小结 169
    第9章  测试 171
    9.1  开始测试 171
    9.1.1  所有DAG的完整性测试 172
    9.1.2  设置CI/CD管道 177
    9.1.3  编写单元测试 179
    9.1.4  pytest项目结构 180
    9.1.5  使用磁盘上的文件测试 184
    9.2  在测试中使用DAG和任务context 186
    9.3  使用测试进行开发 198
    9.4  使用Whirl模拟生产环境 201
    9.5  创建DTAP环境 201
    9.6  本章小结 201
    第10章  在容器中运行任务 203
    10.1  同时使用多个不同operator
    所面临的挑战 203
    10.1.1  operator接口和实现 204
    10.1.2  复杂且相互冲突的依赖关系 204
    10.1.3  转向通用operator 205
    10.2  容器 205
    10.2.1  什么是容器 206
    10.2.2  运行第一个Docker容器 207
    10.2.3  创建Docker映像 207
    10.2.4  使用卷持久化数据 209
    10.3  容器与Airflow 212
    10.3.1  容器中的任务 212
    10.3.2  为什么使用容器 212
    10.4  在Docker中运行任务 213
    10.4.1 使用DockerOperator 213
    10.4.2  为任务创建容器映像 215
    10.4.3  使用Docker任务创建DAG 218
    10.4.4  基于Docker的工作流 220
    10.5  在Kubernetes中运行任务 221
    10.5.1  Kubernetes介绍 221
    10.5.2  设置Kubernetes 222
    10.5.3  使用KubernetesPodOperator 225
    10.5.4  诊断Kubernetes相关的问题 228
    10.5.5  与基于docker的工作流的区别 230
    10.6  本章小结 231
    第Ⅲ部分  Airflow实践
    第11章  最佳实现 235
    11.1  编写清晰的DAG 235
    11.1.1  使用风格约定 235
    11.1.2  集中管理凭证 239
    11.1.3  统一指定配置详细信息 240
    11.1.4  避免在DAG定义中计算 242
    11.1.5  使用工厂函数生成通用模式 244
    11.1.6  使用任务组对相关任务进行分组 247
    11.1.7  为重大变更创建新的DAG 248
    11.2  设计可重用的任务 249
    11.2.1  要求任务始终满足幂等性 249
    11.2.2  任务结果的确定性 249
    11.2.3  使用函数式范式设计任务 250
    11.3  高效处理数据 250
    11.3.1  限制处理的数据量 250
    11.3.2  增量载入与增量处理 252
    11.3.3  缓存中间数据 252
    11.3.4  不要将数据存储在本地文件系统 253
    11.3.5  将工作卸载到外部系统或源系统 253
    11.4  管理资源 254
    11.4.1  使用资源池管理并发 254
    11.4.2  使用SLA和告警来检测长时间运行的任务 255
    11.5  本章小结 256
    第12章  在生产环境中使用Airflow 257
    12.1  Airflow架构 258
    12.1.1  挑选适合的执行器 259
    12.1.2  为Airflow配置metastore 259
    12.1.3  深入了解调度器 261
    12.2  安装每个执行器 265
    12.2.1  设置SequentialExecutor 266
    12.2.2  设置LocalExecutor 266
    12.2.3  设置CeleryExecutor 267
    12.2.4  设置KubernetesExecutor 269
    12.3  捕获所有Airflow进程的日志 276
    12.3.1  捕获Web服务器输出 276
    12.3.2  捕获调度器输出 277
    12.3.3  捕获任务日志 278
    12.3.4  将日志发送到远程存储 278
    12.4  可视化及监控Airflow指标 279
    12.4.1  从Airflow收集指标 279
    12.4.2  配置Airflow以发送指标 280
    12.4.3  配置Prometheus以收集指标 281
    12.4.4  使用Grafana创建仪表板 283
    12.4.5  应监控的指标 285
    12.5  如何获得失败任务的通知 287
    12.5.1  DAG和operator内的告警 287
    12.5.2  定义服务级别协议(SLA) 289
    12.6  可伸缩性与性能 290
    12.6.1  控制最大运行任务数 290
    12.6.2  系统性能配置 292
    12.6.3  运行多个调度器 292
    12.7  本章小结 293
    第13章  Airflow安全性 295
    13.1  保护Airflow Web界面 296
    13.1.1  将用户添加到RBAC界面 296
    13.1.2  配置RBAC界面 299
    13.2  加密静态数据 300
    13.3  连接LDAP服务 301
    13.3.1  理解LDAP 302
    13.3.2  从LDAP服务获取用户 304
    13.4  加密与Web服务器的通信 305
    13.4.1  了解HTTPS 305
    13.4.2  为HTTPS配置证书 307
    13.5  从认证管理系统获取凭证 311
    13.6  本章小结 314
    第14章  实战：探索游览纽约市的最快方式 315
    14.1  理解数据 318
    14.1.1  Yellow Cab文件共享 318
    14.1.2  Citi Bike REST API 319
    14.1.3  确定算法 320
    14.2  提取数据 320
    14.2.1  下载Citi Bike数据 321
    14.2.2  下载Yellow Cab数据 323
    14.3  对数据应用类似的转换 325
    14.4  构建数据管道 330
    14.5  开发幂等的数据管道 331
    14.6  本章小结 333
    第Ⅳ部分  在云端
    第15章  Airflow在云端 337
    15.1  设计云端部署策略 337
    15.2  云端专用的hook和operator 339
    15.3  托管服务 340
    15.3.1  Astronomer.io 340
    15.3.2  Google Cloud Composer 340
    15.3.3  适用于Apache Airflow的
    Amazon托管工作流 341
    15.4  选择部署策略 342
    15.5  本章小结 342
    第16章  在AWS中运行Airflow 345
    16.1  在AWS中部署Airflow 345
    16.1.1  选择云服务 345
    16.1.2  设计网络 347
    16.1.3  添加DAG同步 347
    16.1.4  使用CeleryExecutor扩展 348
    16.1.5  后续步骤 349
    16.2  针对AWS的hook和operator 350
    16.3  用例：使用AWS Athena进行无服务器的电影排名 351
    16.3.1  用例概要 352
    16.3.2  设置资源 352
    16.3.3  创建DAG 355
    16.3.4  环境清理 360
    16.4  本章小结 361
    第17章  在Azure中使用Airflow 363
    17.1  在Azure中部署Airflow 363
    17.1.1  选择服务 363
    17.1.2  设计网络 364
    17.1.3  使用CeleryExecutor扩展 365
    17.1.4  后续步骤 366
    17.2  针对Azure设计的hook和operator 367
    17.3  示例：在Azure上运行无服务器的电影推荐程序 367
    17.3.1  示例概要 368
    17.3.2  设定资源 368
    17.3.3  创建DAG 372
    17.3.4  环境清理 377
    17.4  本章小结 378
    第18章  在GCP中运行Airflow 379
    18.1  在GCP中部署Airflow 379
    18.1.1  选择服务 379
    18.1.2  使用Helm在GKE上
    部署Airflow 381
    18.1.3  与Google服务集成 383
    18.1.4  设计网络 385
    18.1.5  通过CeleryExecutor扩展 386
    18.2  针对GCP的hook和operator 388
    18.3  用例：在GCP上运行无服务器的电影评级 392
    18.3.1  上传到GCS 392
    18.3.2  将数据导入BigQuery 394
    18.3.3  提取最高评分 396
    18.4  本章小结 399
    附录A  运行示例代码 401
    附录B  Airflow 1和Airflow 2中的包结构 405
    附录C  Prometheus指标映射 409

    我们都很幸运能在这个有趣而富有挑战性的时代成为数据工程师。无论怎样，许多公司和组织都意识到，数据在管理企业和改善运营方面发挥着关键作用。机器学习和人工智能的迅速发展为我们提供了大量新的机遇。然而，采用以数据为中心的流程通常非常困难，因为它通常需要协调跨许多异构系统工作，并将所有工作以一种稳定、及时的方式捆绑在一起，以便进行后续分析或产品部署。

    2014年，Airbnb的工程师们意识到在公司内部管理复杂数据工作流是一件非常具有挑战的事情。为了应对这种挑战，他们开发了Airflow：一个开源的解决方案，允许他们编写和安排工作流，并使用内置的Web界面监控工作流运行。

    Airflow项目的成功很快引起了Apache软件基金会的注意，并在2016年将其作为孵化器项目，在2019年将其作为顶级项目。因此，现在许多大公司都依赖Airflow来协调许多关键的数据处理任务。

    作为GoDataDriven的技术顾问，我们已经帮助许多客户将Airflow作为项目的关键组件应用在生产系统中，这些项目涉及数据湖、数据平台、机器学习模型等的应用场景。在这个过程中，我们意识到交付这些解决方案可能具有很大的挑战性，因为像Airflow这样复杂的工具很难在短时间内掌握。为此，我们还在GoDataDriven开发了一个Airflow培训项目，并经常组织和参加会议，分享我们的知识、观点，以及一些开源软件包。在我们探索Airflow的过程中，不断发现它的复杂性，并且通过阅读文档来完全掌握Airflow并不是一件容易的事情。

    在《Apache Airflow数据编排实战》中，我们旨在全面介绍Airflow，涵盖从构建简单工作流到开发定制组件，以及设计并管理Airflow部署的所有内容。我们打算用一种简洁、易于遵循的格式，将多个主题集中在一起，从而对许多优秀的博客及其他在线文档进行补充。在此过程中，我们希望能够通过在过去几年中积累的经验，为你成功开启Airflow的探索之旅。

     

    1
    • 商品详情
    • 内容简介

    售后保障

    最近浏览

    猜你喜欢

    该商品在当前城市正在进行 促销

    注：参加抢购将不再享受其他优惠活动

    x
    您已成功将商品加入收藏夹

    查看我的收藏夹

    确定

    非常抱歉，您前期未参加预订活动，
    无法支付尾款哦！

    关闭

    抱歉，您暂无任性付资格

    此时为正式期SUPER会员专享抢购期，普通会员暂不可抢购

    继续等待

    0小时0分

    立即开通

    SUPER会员