MLOps实践 机器学习从开发到生产 李攀登 著 专业科技 文轩网

第1章MLOps概述1
1.1机器学习涉及的概念1
1.1.1监督学习3
1.1.2无监督学习4
1.1.3半监督学习4
1.1.4强化学习5
1.1.5何时使用机器学习5
1.2机器学习相关符号及术语定义7
1.2.1原始数据、输入数据、特征与特征工程7
1.2.2训练样本及预留样本8
1.2.3参数与超参数8
1.2.4参数模型、非参数模型、极大似然估计9
1.2.5机器学习管道11
1.2.6模型选择与性能权衡12
1.3机器学习的工程挑战与MLOps解决方案13
1.3.1MLOps的定义14
1.3.2MLOps与其他Ops的区别15
1.3.3谁在关注MLOps17
1.3.4为什么需要MLOps19
1.3.5MLOps给企业带来的增益20
1.3.6MLOps的工作流程21
1.3.7MLOps工程师需要具备的技能22
1.3.8什么时候真正需要MLOps23
1.4MLOps框架下的工程实践24
1.4.1机器学习工程及生产化模块25
1.4.2机器学习工程模块的设计原则26
1.4.3进行机器学习工程的模块设计时需要注意的细节27
1.4.4编码环境与模型探索27
1.4.5特征存储31
1.4.6实验管理和模型管理32
1.4.7服务32
1.4.8模型服务规模化33
1.4.9模型监控34
1.5本章总结34
第2章在MLOps框架下开展机器学习项目36
2.1界定业务范围阶段37
2.1.1在项目规划时考虑生产化37
2.1.2业务需求38
2.1.3确定衡量指标和项目范围38
2.1.4设计初步解决方案40
2.1.5制定共同语言41
2.1.6数据权限及准备44
2.2研究与探索阶段44
2.2.1数据探索44
2.2.2技术有效性检查45
2.3模型开发阶段46
2.3.1模型开发的必要准备46
2.3.2模型开发46
2.3.3模型验证46
2.4模型生产化阶段47
2.5机器学习项目生命周期48
2.6团队建设及分工49
2.6.1企业数字化程度50
2.6.2界定机器学习团队的角色50
2.6.3探讨机器学习项目的团队建设与分工51
2.6.4项目外包还是自建机器学习团队53
2.7本章总结55
第3章MLOps的基础准备：模型开发56
3.1背景概要57
3.2定义机器学习目标57
3.2.1业务问题概述58
3.2.2业务目标58
3.2.3机器学习目标58
3.3数据收集58
3.3.1数据获取59
3.3.2加载数据59
3.3.3关于数据集61
3.4数据预处理62
3.4.1缺失值处理62
3.4.2离群值检测63
3.5数据探索64
3.5.1目标变量65
3.5.2服务分析65
3.5.3用户行为分析67
3.6特征工程70
3.6.1分类和数值列拆分70
3.6.2One-Hot编码72
3.6.3特征缩放处理73
3.6.4目标变量73
3.6.5样本生成74
3.7构建和评估模型74
3.7.1处理非平衡问题74
3.7.2模型构建75
3.8持久化模型78
3.9构建RESTAPI78
3.9.1导入相关库并加载模型79
3.9.2编写预测函数80
3.9.3用户请求81
3.10模型投产82
3.10.1机器学习投产陷阱及挑战83
3.10.2机器学习模型演化：从独立模型到模型工厂85
3.10.3利用MLOps实现模型的规模化投产86
3.11本章总结87
第4章ML与Ops之间的信息存储与传递机制88
4.1机器学习实验跟踪89
4.1.1机器学习实验跟踪的定义90
4.1.2机器学习实验跟踪的必要性91
4.1.3随时随地管理实验91
4.1.4机器学习实验跟踪与模型管理的区别92
4.1.5在MLOps框架中增加机器学习实验跟踪功能92
4.1.6设计和实现机器学习实验跟踪API93
4.1.7在生产中使用机器学习实验跟踪API100
4.2A/B在线实验101
4.2.1创建在线实验的必要性101
4.2.2确定实验的范围与目标102
4.2.3最小样本量的确定方法103
4.2.4对机器学习模型进行A/B测试104
4.2.5在MLOps框架中增加A/B在线实验功能105
4.2.6用于A/B在线实验的MAB方案108
4.2.7MLOps框架中的A/B实验管理110
4.3模型注册111
4.3.1模型注册的定义111
4.3.2模型注册的必要性112
4.3.3将模型注册功能融入MLOps框架114
4.3.4模型注册中心存储的信息115
4.3.5模型注册的价值116
4.3.6先从一个简单的模型注册开始118
4.3.7设计和实现符合MLOps标准的模型注册中心119
4.3.8在生产中使用模型注册API124
4.3.9模型注册中心的权限设置126
4.4特征存储127
4.4.1特征工程及使用挑战127
4.4.2特征存储的定义128
4.4.3在MLOps框架中增加特征存储129
4.4.4离线与在线特征130
4.4.5特征存储带来的益处131
4.4.6特征存储的架构设计132
4.5本章总结135
第5章模型统一接口设计及模型打包136
5.1机器学习模型基础接口概述136
5.1.1软件开发的策略模式137
5.1.2Scikit-Learn对接口的处理方法138
5.2业内一些常见的解决方案139
5.2.1AWS的机器学习生命周期工具SageMaker139
5.2.2Meta的机器学习平台FBLearnerFlow139
5.2.3Uber的机器学习平台Michelangelo140
5.2.4开源的SeldonCore140
5.3一个简单的机器学习模型接口示例140
5.3.1继承ModelBase基类142
5.3.2模型管理基类145
5.3.3FlaskREST端点148
5.4机器学习项目打包148
5.4.1模型及代码打包的必要性149
5.4.2模型和代码打包的事项及示例150
5.4.3模型序列化150
5.5本章总结152
第6章在MLOps框架下规模化部署模型153
6.1定义及挑战154
6.1.1机器学习部署的简单定义154
6.1.2部署机器学习模型的常见挑战155
6.2对业务的驱动逻辑156
6.2.1模型部署的边界156
6.2.2模型部署与业务应用流程的关系157
6.3常见的设计模式158
6.3.1用于在线推理的机器学习模型部署的挑战159
6.3.2什么时候需要在线推理162
6.3.3什么时候使用批量推理162
6.3.4数据库批量推理模式163
6.3.5嵌入式推理模式164
6.3.6单服务推理模式165
6.3.7微服务推理模式166
6.4构建MLOps通用推理服务：模型即服务168
6.4.1模型即服务的工作流程169
6.4.2模型即服务的核心服务模块171
6.5Web服务框架及应用生态172
6.5.1Web应用程序172
6.5.2WSGI服务器173
6.5.3Web服务器176
6.5.4使用RESTAPI为模型提供服务178
6.6基于Docker的模型应用程序部署179
6.6.1Docker的定义180
6.6.2Docker容器、Python虚拟环境和虚拟机180
6.6.3构建HTTPRESTAPI181
6.6.4创建生产级的Docker镜像182
6.6.5构建并运行Docker容器183
6.7模型即服务的自动化184
6.7.1模型即服务的逻辑设计184
6.7.2模型即服务的通用接口定义187
6.7.3使用SQLAlchemyORM重构MLOps的信息存储表187
6.8在MLOps框架下实现模型部署示例190
6.8.1将构建好的模型进行注册190
6.8.2模型部署和服务化193
6.8.3机器学习实验跟踪功能升级195
6.9基于开源项目的模型服务解决方案199
6.9.1基于Kubernetes的资源管理项目KFServing199
6.9.2机器学习部署平台SeldonCore199
6.9.3轻量级模型部署及管理平台BentoML200
6.9.4机器学习生命周期管理平台MLflow200
6.9.5机器学习模型服务开源方案的总结201
6.9.6关于机器学习模型部署和服务方案的思考201
6.10本章总结202
第7章MLOps框架下的模型发布及零停机模型更新204
7.1机器学习在生产中的CI/CD205
7.1.1模型在生产中持续迭代的挑战206
7.1.2在MLOps框架中添加模型的发布流程207
7.1.3CI阶段的实践208
7.1.4CD阶段的实践211
7.2模型服务的发布策略211
7.2.1传统软件工程的发布策略212
7.2.2部署即发布212
7.2.3制定机器学习模型服务发布策略的必要性213
7.2.4影子测试策略与渐进式推出策略214
7.2.5竞争策略216
7.3零停机更新模型服务218
7.3.1生产中Flask的局限性219
7.3.2关于GIL、线程和进程的入门知识219
7.3.3从单线程的Flask到uWSGI220
7.3.4模型更新条件检查222
7.3.5动态更新模型方案222
7.3.6基于Kubernetes的扩展方案227
7.4本章总结228
第8章MLOps框架下的模型监控与运维230
8.1机器学习模型监控简介230
8.1.1模型的监控场景231
8.1.2为什么监控很重要232
8.1.3机器学习监控与传统软件监控的区别233
8.1.4谁需要关注机器学习的监控结果234
8.1.5生产中导致模型衰退或出错的原因235
8.2数据科学问题的监控236
8.2.1模型漂移237
8.2.2决策边界的改变238
8.2.3模拟漂移与模型重建修正239
8.2.4数据科学问题监控的常见指标和方法240
8.3运维问题的监控241
8.3.1运维问题的监控与可观察性242
8.3.2运维问题监控的指标定义242
8.4在MLOps框架内增加监控功能243
8.4.1机器学习的日志信息记录244
8.4.2使用特征存储简化模型监控245
8.4.3A/B在线实验闭环246
8.4.4模型衰退检测247
8.4.5模型维护249
8.4.6模型自动持续训练251
8.4.7API缓冲252
8.5本章总结252
第9章对MLOps的一些实践经验总结254
9.1机器学习和MLOps平台比较254
9.1.1聚焦传统机器学习与聚焦深度学习254
9.1.2聚焦分析探索与聚焦产品化255
9.1.3面向平民化数据科学与面向数据科学专家256
9.1.4专业化平台与端到端平台256
9.2自研MLOps平台257
9.2.1自研MLOps平台的经验总结258
9.2.2MLOps框架或平台的搭建原则261
9.2.3MLOps的架构参考264
9.3MLOps架构的成熟度评估266
9.3.1对业务需求的定义267
9.3.2数据准备267
9.3.3模型实验268
9.3.4模型部署268
9.3.5模型监控269
9.3.6模型的持续训练270
9.3.7关于MLOps架构成熟度评估的思考271
9.4本章总结271