正版新书]Ray分布式机器学习 利用Ray进行大模型的数据处理、训

目录<br />序1<br />前言3<br />第1章 Ray概述11<br />1.1 Ray是什么12<br />1.1.1 Ray的渊源12<br />1.1.2 Ray的设计原则14<br />1.1.3 Ray的三层架构：内核、库、生态15<br />1.2 分布式计算框架16<br />1.3 数据科学库套件18<br />1.3.1 Ray AIR和数据科学工作流19<br />1.3.2 处理数据20<br />1.3.3 训练模型22<br />1.3.4 调优超参数26<br />1.3.5 部署模型28<br />1.4 Ray的生态30<br />1.5 总结31<br />第2章 Ray Core入门32<br />2.1 Ray Core简介33<br />2.1.1 Ray API的第一个示例34<br />2.1.2 Ray Core API概述44<br />2.2 理解Ray的系统组件45<br />2.2.1 在节点上调度和执行任务45<br />2.2.2 主节点48<br />2.2.3 分布式调度和执行48<br />2.3 利用Ray创建简单的MapReduce示例50<br />2.3.1 映射和打乱文档数据52<br />2.3.2 利用约简进行单词统计54<br />2.4 总结56<br />第3章 创建第一个分布式应用程序57<br />3.1 强化学习入门57<br />3.2 创建简易的迷宫问题59<br />3.3 创建模拟63<br />3.4 训练强化学习模型66<br />3.5 创建分布式Ray应用程序70<br />3.6 回顾强化学习术语72<br />3.7 总结74<br />第4章 利用Ray RLlib进行强化学习75<br />4.1 RLlib概述76<br />4.2 RLlib入门76<br />4.2.1 创建Gym环境77<br />4.2.2 运行RLlib CLI79<br />4.2.3 使用RLlib Python API80<br />4.3 配置RLlib实验87<br />4.3.1 资源配置89<br />4.3.2 配置rollout worker89<br />4.3.3 配置环境90<br />4.4 使用RLlib环境90<br />4.4.1 RLlib环境概述91<br />4.4.2 使用多智能体92<br />4.4.3 使用策略服务器和客户端96<br />4.5 高级概念99<br />4.5.1 创建高级环境99<br />4.5.2 应用课程学习101<br />4.5.3 使用离线数据103<br />4.5.4 其他高级主题104<br />4.6 总结105<br />第5章 利用Ray Tune进行超参数调优106<br />5.1 调优超参数106<br />5.1.1 使用Ray创建随机搜索示例107<br />5.1.2 调优超参数的难点109<br />5.2 Ray Tune入门110<br />5.2.1 Tune的原理111<br />5.2.2 配置和运行Tune115<br />5.3 使用Tune进行机器学习120<br />5.3.1 结合使用RLlib和Tune120<br />5.3.2 调优Keras模型121<br />5.4 总结124<br />第6章 利用Ray进行数据处理125<br />6.1 Ray Dataset126<br />6.1.1 Ray Dataset基础127<br />6.1.2 利用Ray Dataset进行计算130<br />6.1.3 数据集管道131<br />6.1.4 示例：并行训练分类器副本134<br />6.2 外部集成库137<br />6.3 创建ML管道140<br />6.4 总结142<br />第7章 利用Ray Train进行分布式训练143<br />7.1 分布式模型训练基础143<br />7.2 基于示例介绍Ray Train145<br />7.2.1 预测纽约出租车的大额小费145<br />7.2.2 加载、预处理、特征化146<br />7.2.3 定义深度学习模型148<br />7.2.4 示例：利用Ray Train进行分布式训练148<br />7.2.5 分布式批量推理151<br />7.3 Ray Train训练器152<br />7.3.1 迁移到Ray Train154<br />7.3.2 扩展训练器156<br />7.3.3 利用Ray Train进行预处理156<br />7.3.4 将训练器和Ray Tune集成158<br />7.3.5 使用回调函数监控训练160<br />7.4 总结160<br />第8章 利用Ray Serve进行在线推理162<br />8.1 在线推理的主要特点163<br />8.1.1 ML模型属于计算密集型163<br />8.1.2 ML模型无法独立使用164<br />8.2 Ray Serve入门164<br />8.2.1 Ray Serve概述165<br />8.2.2 定义基础HTTP端点166<br />8.2.3 扩展和资源分配169<br />8.2.4 批处理请求170<br />8.2.5 多模型推理图172<br />8.3 端到端示例：创建基于NLP的API176<br />8.3.1 获取内容和预处理177<br />8.3.2 NLP模型178<br />8.3.3 HTTP处理和驱动逻辑179<br />8.3.4 整合181<br />8.4 总结182<br />第9章 Ray集群183<br />9.1 手动创建Ray Cluster184<br />9.2 在Kubernetes上进行部署186<br />9.2.1 设置KubeRay集群187<br />9.2.2 与KubeRay集群交互188<br />9.2.3 公开KubeRay191<br />9.2.4 配置KubeRay191<br />9.2.5 配置KubeRay日志194<br />9.3 使用Ray集群启动器195<br />9.3.1 配置Ray集群195<br />9.3.2 使用集群启动器CLI196<br />9.3.3 与Ray Cluster交互196<br />9.4 使用云集群197<br />9.4.1 AWS197<br />9.4.2 其他云服务198<br />9.5 自动扩展199<br />9.6 总结199<br />第10章 Ray AIR入门201<br />10.1 为什么使用AIR201<br />10.2 AIR核心概念202<br />10.2.1 Ray Dataset和预处理器204<br />10.2.2 训练器205<br />10.2.3 调优器和检查点207<br />10.2.4 批预测器208<br />10.2.5 部署209<br />10.3 适合AIR的任务212<br />10.3.1 AIR任务执行215<br />10.3.2 AIR内存管理216<br />10.3.3 AIR故障模型217<br />10.3.4 自动扩展AIR任务218<br />10.4 总结218<br />第11章 Ray生态及其他220<br />11.1 蓬勃的生态221<br />11.1.1 数据加载和处理221<br />11.1.2 模型训练223<br />11.1.3 模型服务227<br />11.1.4 创建自定义集成230<br />11.1.5 Ray集成概述231<br />11.2 Ray和其他系统232<br />11.2.1 分布式Python框架232<br />11.2.2 Ray AIR和更广泛的ML生态233<br />11.2.3 将AIR集成到ML平台235<br />11.3 继续学习236<br />11.4 总结237<br /><br />

Ray是开源分布式计算框架，简化了扩展计算密集型Python工作负载的过程。通过本书，Python程序员、数据工程师和数据科学家将学会如何在本地利用Ray并启动计算集群。你将能够使用Ray来大规模构建和运行机器学习程序。
三位作者展示了如何使用Ray构建机器学习应用程序。你将了解Ray如何融入当前的机器学习工具，并了解Ray与这些工具紧密集
成的方法。分布式计算很难，但Ray让一切困难迎刃而解。
通过学习本书，你将：
? 了解如何使用Ray Core构建分布式应用程序。
? 使用Ray Tune进行超参数优化。
? 使用Ray RLlib库进行强化学习。
? 使用Ray Train库管理分布式训练。
? 使用Ray Datasets进行数据处理。
? 了解如何使用Ray Clusters以及如何使用Ray Serve为模型提供服务。
? 使用Ray AIR创建端到端机器学习应用程序。