音像基于Python的DevOps(美)诺亚·吉夫特 等

前言1

章PythonDevOps基础知识11

1.1安装和运行Python12

1.1.1Pythonshell12

1.1.2JupyterNotebooks13

1.2过程式程序设计13

1.2.1变量14

1.2.2基本的数学运算15

1..注释15

1.2.4内置函数16

1.3执行控制17

1.3.1if/elif/else17

1.3.2for循环18

1.3.3while循环20

1.4处理异常20

1.5内置对象21

1.5.1对象是什么21

1.5.2对象的方法和属22

1.5.3序列

1.6函数35

1.6.1函数剖析36

1.6.2函数是对象37

1.6.3匿名函数38

1.7使用正则表达式39

1.7.1搜索39

1.7.2字符集合40

1.7.3字符类41

1.7.4分组41

1.7.5具名分组42

1.7.6查找所有42

1.7.7查找迭代器42

1.7.8替换43

1.7.9编译43

1.8惰求值44

1.8.1生成器44

1.8.2生成器推导45

1.9更多IPython功能46

1.9.1在IPython中运行UNIXshell命令46

1.9.2使用IPython的魔法命令47

1.10练习题47

第2章文件和文件系统自动化处理49

2.1读写文件49

2.2使用正则表达式搜索文本59

.处理大型文件61

2.4加密文本62

2.4.1哈希和hashlib63

2.4.2使用Cryptography库加密63

2.5os模块65

2.6使用os.pat管理件和目录67

2.7使用os.walk遍历目录树70

2.8使用pathlib处理路径对象71

第3章使用命令行73

3.1使用shell73

3.1.1使用sys模块探知系统信息73

3.1.2使用os模块处理操作系统74

3.1.3使用subprocess模块派生进程75

3.2编写命令行工具77

3.2.1使用sys.argv79

3.2.2使用argparse81

3..使用click85

3.2.4使用fire90

3.2.5实现插件系统95

3.3案例分析：使用命令行工具提速Python96

3.3.1使用NumbaJIT编译器97

3.3.2通过PythonCUDA使用GPU99

3.3.3使用Numba真正多核多线程运行Python代码100

3.3.4k均值聚类算法101

3.4练习题103

第4章Linux实用程序105

4.1磁盘实用程序106

4.1.1衡量能106

4.1.2分区108

4.1.3获取特定的设备信息109

4.2网络实用程序111

4.2.1SSH隧道111

4.2.2使用ApacheBenchmark（ab）评测HTTP112

4..使用molotov做负载测试113

4.3CPU实用程序116

4.3.1CPU实用程序简介116

4.3.2使用htop查看进程116

4.4使用Bash和ZSH118

4.4.1自定义Pythonshell119

4.4.2递归路径模式匹配120

4.4.3搜索和替换确认提示120

4.4.4删除Python临时文件122

4.4.5列出和筛选进程122

4.4.6UNIX时间戳1

4.5Python与Bash和ZSH混合使用124

4.5.1随机密码生成器124

4.5.2这个模块存在125

4.5.3进入模块所在的目录125

4.5.4把CSV文件转换成JSON文件126

4.6Python单行程序127

4.6.1调试器127

4.6.2这段代码的运行速度有多快128

4.7strace129

4.8练习题131

4.9实操题132

第5章包管理133

5.1打包简介134

5.1.1打包的重要134

5.1.2何时不需要打包134

5.2打包准则135

5.2.1恰当的版本号135

5.2.2更改日志136

5.3选择一种策略137

5.4打包方案138

5.4.1Python原生包138

5.4.2Debian包145

5.4.3RPM包153

5.5使用systemd管理服务160

5.5.1长时间运行的进程161

5.5.2创建项目161

5.5.3systemd单元文件163

5.5.4安装单元164

5.5.5处理日志166

5.6练习题167

5.7实操题168

第6章持续集成和持续部署169

6.1真实案例分析：把维护不善的WordPress转换成Hug69

6.1.1设置Hug71

6.1.2把WordPress文章转换成Hug文章72

6.1.3创建并更新Algolia索引174

6.1.4使用Makefile编排流程176

6.1.5使用AWSCodePipeline部署176

6.2真实案例分析：使用GoogleCloudBuild把Python应用部署到

GoogleAppEngine中178

6.3真实案例分析：NFSOPS185

第7章监控和日志187

7.1构建可靠系统的关键概念187

7.2不可变的DevOps原则188

7.2.1集中处理日志188

7.2.2案例分析：生产数据库塞满硬盘189

7..自建还是购买？190

7.2.4容错190

7.3监控192

7.3.1Graphite192

7.3.2StatsD192

7.3.3Prometheus193

7.4监测程序197

7.4.1监测程序概述197

7.4.2命名约定200

7.5日志201

7.5.1为什么很难202

7.5.2basicconfig202

7.5.3深度配置203

7.5.4常用模式208

7.6ELK栈209

7.6.1Logstash210

7.6.2Elasticsearch和Kibana212

7.7练习题215

7.8实操题216

第8章pytest在DevOps中的应用217

8.1测试小钢炮pytest217

8.2pytest入门218

8.2.1使用pytest测试218

8.2.2与unittest的区别220

8.3pytest特222

8.3.1conftest.py2

8.3.2出色的assert2

8.3.3参数化225

8.4固件226

8.4.1入门227

8.4.2内置固件229

8.5基础设施测试1

8.5.1什么是系统验2

8.5.2Testinfra简介

8.5.3连接远程节点

8.5.4特和特殊固件

8.5.5案例

8.6使用pytest测试JupyterNotebooks241

8.7练习题242

8.8实操题242

第9章云计算243

9.1云计算基础知识244

9.2云计算的类型246

9.3云服务的类型246

9.3.1IaaS247

9.3.2MaaS251

9.3.3PaaS251

9.3.4Serverless252

9.3.5SaaS255

9.4IaC256

9.5持续交付256

9.6虚拟化和容器256

9.6.1硬件虚拟化256

9.6.2SDN257

9.6.3SDS257

9.6.4容器257

9.7分布式计算面临的挑战和机遇258

9.8云时代Python的并发、能和进程管理260

9.9进程管理261

9.9.1使用subprocess管理进程261

9.9.2使用multiprocessing库解决问题263

9.9.3使用Pool()派生进程264

9.9.4FaaS和Serverless267

9.9.5使用Numba提升Python的能267

9.9.6使用NumbaJIT编译器267

9.9.7使用高能器268

9.10小结269

9.11练习题269

9.12实操题270

0章IaC271

10.1基础设施自动化工具分类272

10.2手动配置274

10.3使用Terraform自动配置基础设施275

10.3.1配置S3bucket276

10.3.2使用ACM配置SSL279

10.3.3配置AmazonCloudFront分配280

10.3.4配置Route53DNS记录283

10.3.5把静态文件复制到S3中284

10.3.6删除使用Terraform配置的所有AWS资源285

10.4使用Pulumi自动配置基础设施285

10.4.1为AWS新建一个PulumiPython项目286

10.4.2为过渡堆栈创建配置值291

10.4.3配置一个ACMSSL291

10.4.4配置Route53区域和DNS记录292

10.4.5配置一个CloudFront分配295

10.4.6为的URL配置一个Route53DNS记录296

10.4.7创建并部署一个新堆栈297

10.5练习题300

1章容器技术：Docker和DockerCoe301

11.1Docker容器是什么302

11.2创建、构建、运行及删除Docker映像和容器302

11.3把Docker映像发布到Docker注册处中306

11.4使用相同的映像在不同的宿主机中运行Docker容器308

11.5使用DockerCoe运行多个Docker容器310

11.6把DockerCoe运行的服务移植到新主机和操作系统中3

11.7练习题327

2章容器编排：Kubernetes329

12.1Kubernetes相关概念简述330

12.2使用Koe根据docker-coe.yaml创建Kubernetes清单331

1.使用minikube把Kubernetes清单部署到本地Kubernetes集群333

12.4在GCP中使用Pulumi创建GKEKubernetes集群349

12.5把Flask示例应用部署到GKE中352

12.6安装HelmchartPrometheus和Grafana359

12.7销毁GKE集群364

12.8练习题365

3章Serverless技术367

13.1把同一个Python函数部署到三大云服务商中370

13.1.1安装Serverless框架370

13.1.2把Python函数部署到AWSLambda中370

13.1.3把Python函数部署到GoogleCloudFunctions中373

13.1.4把Python函数部署到Azure中380

13.2把Python函数部署到自托管的FaaS平台中384

13.2.1把Python函数部署到自托管的PaaS平台的优势384

13.2.2把Python函数部署到OpenFaaS中385

13.3使用AWSCDK配置DynamoDB数据表、Lambda函数和

API网关方法393

13.4练习题415

4章MLOps和机器学习工程417

14.1机器学习是什么417

14.1.1监督型机器学习417

14.1.2建模420

14.2Python机器学习生态环境4

14.2.1Python机器学习框架和生态系统4

14.2.2PyTorch深度学习424

14.3机器学云台428

14.4机器学习成熟模型429

14.4.1机器学习重点术语429

14.4.2层：问题构建、范围界定和问题定义430

14.4.3第2层：持续交付数据431

14.4.4第3层：持续交付净化数据432

14.4.5第4层：持续交付探索数据分析434

14.4.6第5层：持续交付传统机器学习和AutoML434

14.4.7第6层：机器学习运作反馈环435

14.5使用Docker和Kubernetes部署sklearnFlask应用435

14.5.1EDA440

14.5.2建模441

14.5.3调整GBM缩放442

14.5.4拟合模型443

14.5.5评估444

14.5.6adhoc_predict445

14.5.7JSON工作流446

14.5.8缩放输入446

14.5.9adhoc_predict447

14.5.10缩放输入448

14.6练习题448

14.7实操题449

14.8学习评价449

5章数据工程451

15.1小数据452

15.1.1小数据与大数据452

15.1.2处理小数据文件452

15.2写文件453

15.3读文件453

15.4使用生成器流水线逐行读取和处理453

15.5使用YAML454

15.6大数据455

15.7大数据工具、组件和平台457

15.7.1数据源458

15.7.2文件系统458

15.7.3数据存储459

15.7.4实时流式采集460

15.8案例分析：自制数据流水线461

15.9Serverless数据工程462

15.9.1使用AWSLambda处理CloudWatch事件463

15.9.2使用AmazonCloudWatch日志分析AWSLambda463

15.9.3使用AWSLambda填充AmazonSimpleeueService464

15.9.4连接CloudWatch事件触发器468

15.9.5创建事件驱动型lambda469

15.9.6从AWSLambda中读取AmazonSS事件470

15.10小结474

15.11练习题475

15.12实操题475

6章DevOps惨痛经验和人物访谈477

16.1产不出电影的电影厂478

16.2推不出游戏的游戏坊480

16.3耗时60秒才启动的Python脚本482

16.4用缓存和智能监测程序浇灭火情483

16.5自动化会让你失业484

16.6DevOps反模式485

16.6.1反模式：没有自动化构建服务器485

16.6.2盲目行事486

16.6.3协调难题不可避免486

16.6.4没有团队合作487

16.7人物访谈492

16.7.1GlennSolomon492

16.7.2AndrewNguyen493

16.7.3GabriellaRoman495

16.7.4RigobertoRoche496

16.7.5JonathanLaCour498

16.7.6VilleTuulos500

16.7.7JosephReis502

16.7.8TeijoHolzer503

16.7.9MattHarrison505

16.7.10MichaelFoord507

16.8一些建议510

16.9练习题511

16.10挑战题511

16.11项目511