返回首页
苏宁会员
购物车 0
易付宝
手机苏宁

服务体验

店铺评分与同行业相比

用户评价:----

物流时效:----

售后服务:----

  • 服务承诺: 正品保障
  • 公司名称:
  • 所 在 地:

  • Python分布式机器学习 (美)冠华·王 著 姜大为 译 专业科技 文轩网
  • 新华书店正版
    • 作者: [美]冠华·王 著 姜大为 译著
    • 出版社: 清华大学出版社
    • 出版时间:2023-04-01 00:00:00
    送至
  • 由""直接销售和发货,并提供售后服务
  • 加入购物车 购买电子书
    服务

    看了又看

    商品预定流程:

    查看大图
    /
    ×

    苏宁商家

    商家:
    文轩网图书旗舰店
    联系:
    • 商品

    • 服务

    • 物流

    搜索店内商品

    商品分类

         https://product.suning.com/0070067633/11555288247.html

     

    商品参数
    • 作者: [美]冠华·王 著 姜大为 译著
    • 出版社:清华大学出版社
    • 出版时间:2023-04-01 00:00:00
    • 版次:1
    • 印次:1
    • 印刷时间:2023-04-01
    • 页数:0
    • 开本:其他
    • 装帧:平装
    • ISBN:9787302633112
    • 国别/地区:中国
    • 版权提供:清华大学出版社

    Python分布式机器学习

    作  者:(美)冠华·王 著 姜大为 译
    定  价:99
    出 版 社:清华大学出版社
    出版日期:2023年04月01日
    页  数:236
    装  帧:平装
    ISBN:9787302633112
    主编推荐

    降低机器学习的时间成本可以缩短模型训练的等待时间,加快模型更新周期。分布式机器学习使机器学习从业者能够将模型训练和推理时间缩短几个数量级。在本书的帮助下,你应该能够将你的Python开发知识用于启动和运行分布式机器学习的实现,包括多节点机器学习系统

    内容简介

    本书详细阐述了与分布式机器学习相关的基本解决方案,主要包括拆分输入数据、参数服务器和All-Reduce、构建数据并行训练和服务管道、瓶颈和解决方案、拆分模型、管道输入和层拆分、实现模型并行训练和服务工作流程、实现更高的吞吐量和更低的延迟、数据并行和模型并行的混合、联合学习和边缘设备、弹性模型训练和服务、进一步加速的高级技术等内容。此外,本书还提供了相应的示例、代码,以帮助读者进一步理解相关方案的实现过程。 本书适合作为高等院校计算机及相关专业的教材和教学参考书,也可作为相关开发人员的自学用书和参考手册。

    作者简介

    冠华·王是加州大学伯克利分校 RISELab 的计算机科学博士(导师为Ion Stoica教授)。他的研究主要集中在机器学习系统领域,包括快速集体通信、高效并行模型训练和实时模型服务等。他的研究得到了学术界和工业界的广泛关注。他曾受邀在很好大学(麻省理工学院、斯坦福大学、卡内基梅隆大学和普林斯顿大学)和大型科技公司(Facebook/Meta和微软)进行演讲。他在香港科技大学获得硕士学位,在中国东南大学获得学士学位。他在无线网络方面还有一些很好的研究。他喜欢踢足球,并且曾在加州湾区跑过多次半程马拉松。

    精彩内容

    目录
    第1篇 数 据 并 行
    第1章 拆分输入数据 3
    1.1 单节点训练太慢 3
    1.1.1 数据加载带宽和模型训练带宽之间的不匹配 5
    1.1.2 流行数据集的单节点训练时间 5
    1.1.3 使用数据并行加速训练过程 7
    1.2 数据并行 8
    1.2.1 随机梯度下降 11
    1.2.2 模型同步 12
    1.3 超参数调优 14
    1.3.1 全局批次大小 14
    1.3.2 学习率调整 14
    1.3.3 模型同步方案 15
    1.4 小结 16
    第2章 参数服务器和All-Reduce 17
    2.1 技术要求 18
    2.2 参数服务器架构 18
    2.2.1 参数服务器架构中的通信瓶颈 19
    2.2.2 在参数服务器之间分片模型 21
    2.3 实现参数服务器 23
    2.3.1 定义模型层 23
    2.3.2 定义参数服务器 24
    2.3.3 定义工作节点 25
    2.3.4 在参数服务器和工作节点之间传递数据 26
    2.4 参数服务器的问题 27
    2.4.1 情况1—更多参数服务器 28
    2.4.2 情况2—更多工作节点 28
    2.4.3 参数服务器架构为从业者带来了很高的编码复杂度 28
    2.5 All-Reduce架构 29
    2.5.1 Reduce 29
    2.5.2 All-Reduce 30
    2.5.3 Ring All-Reduce 31
    2.6 集体通信 33
    2.6.1 Broadcast 33
    2.6.2 Gather 34
    2.6.3 All-Gather 35
    2.7 小结 36
    第3章 构建数据并行训练和服务管道 37
    3.1 技术要求 37
    3.2 数据并行训练管道概述 38
    3.2.1 输入预处理 39
    3.2.2 输入数据分区 40
    3.2.3 数据加载 41
    3.2.4 数据训练 41
    3.2.5 模型同步 42
    3.2.6 模型更新 42
    3.3 单机多GPU和多机多GPU 42
    3.3.1 单机多GPU 43
    3.3.2 多机多GPU 46
    3.4 检查点和容错 52
    3.4.1 模型检查点 52
    3.4.2 加载模型检查点 53
    3.5 模型评估和超参数调优 55
    3.6 数据并行中的模型服务 57
    3.7 小结 59
    第4章 瓶颈和解决方案 61
    4.1 数据并行训练中的通信瓶颈 62
    4.1.1 通信工作负载分析 62
    4.1.2 参数服务器架构 62
    4.1.3 All-Reduce架构 65
    4.1.4 近期新通信方案的效率问题 68
    4.2 利用空闲链路和主机资源 69
    4.2.1 Tree All-Reduce 69
    4.2.2 通过PCIe和NVLink进行混合数据传输 75
    4.3 设备内存瓶颈 76
    4.4 重新计算和量化 77
    4.4.1 重新计算 77
    4.4.2 量化 81
    4.5 小结 82
    第2篇 模 型 并 行
    第5章 拆分模型 85
    5.1 技术要求 86
    5.2 单节点训练错误—内存不足 86
    5.2.1 在单个GPU上微调BERT 86
    5.2.2 尝试将一个巨型模型打包到单个GPU中 88
    5.3 ELMo、BERT和GPT 90
    5.3.1 基本概念 91
    5.3.2 循环神经网络 94
    5.3.3 ELMo 97
    5.3.4 BERT 99
    5.3.5 GPT 101
    5.4 预训练和微调 102
    5.5 最优选的硬件 103
    5.5.1 P100、V100和DGX-1 103
    5.5.2 NVLink 104
    5.5.3 A100和DGX-2 105
    5.5.4 NVSwitch 105
    5.6 小结 105
    第6章 管道输入和层拆分 107
    6.1 普通模型并行的低效问题 108
    ……

    售后保障

    最近浏览

    猜你喜欢

    该商品在当前城市正在进行 促销

    注:参加抢购将不再享受其他优惠活动

    x
    您已成功将商品加入收藏夹

    查看我的收藏夹

    确定

    非常抱歉,您前期未参加预订活动,
    无法支付尾款哦!

    关闭

    抱歉,您暂无任性付资格

    此时为正式期SUPER会员专享抢购期,普通会员暂不可抢购