正版 Python高性能编程

目录 前言 xvii 第 1章  理解高性能Python 1 1.1 基本的计算机系统 1 1.1.1 计算单元 2 1.1.2 存储单元 4 1.1.3 通信层 6 1.2 综合考虑 8 1.3 为何使用Python 11 1.4 如何成为高性能程序员 13 1.4.1 很好实践 14 1.4.2 对Notebook很好实践的思考 15 1.4.3 重新发现工作的乐趣 16 第 2章  通过剖析找出瓶颈 17 2.1 高效地剖析 18 2.2 朱利亚集合简介 19 2.3 计算整个朱利亚集合 22 2.4 简单计时方法—print语句和装饰器 25 2.5 使用UNIX命令time的简单计时 27 2.6 使用模块cProfile 29 2.7 使用SnakeViz可视化cProfile的输出 34 2.8 使用line_profiler逐行剖析 35 2.9 使用memory_profiler诊断内存占用情况 40 2.10 使用PySpy查看既有进程 47 2.11 字节码：幕后发生的情况 48 2.11.1 使用模块dis查看CPython字节码 48 2.11.2 复杂度随方法而异 50 2.12 优化期间使用单元测试确保代码正确 52 2.13 确保代码剖析成功的策略 55 2.14 小结 56 第3章  列表和元组 57 3.1 更高效的查找方式 60 3.2 比较列表和元组 62 3.2.1 作为动态数组的列表 63 3.2.2 作为静态数组的元组 66 3.3 小结 67 第4章  字典和集合 69 4.1 字典和集合的工作原理 72 4.1.1 插入和检索 72 4.1.2 删除 76 4.1.3 调整长度 76 4.1.4 散列函数和熵 76 4.2 字典和名称空间 80 4.3 小结 83 第5章  迭代器和生成器 84 5.1 无穷数列迭代器 88 5.2 延迟执行生成器 89 5.3 小结 93 第6章  矩阵和向量计算 94 6.1 问题简介 95 6.2 Python列表不够好吗 99 6.3 内存碎片 104 6.3.1 理解perf 106 6.3.2 根据perf的输出做决策 108 6.3.3 进入numpy 108 6.4 使用numpy解决扩散问题 111 6.4.1 内存分配和就地操作 114 6.4.2 有选择地优化：找出需要修复的地方 118 6.5 numexpr：让你能够更快、更轻松地执行就地操作 121 6.6 警示故事：对优化进行验证（scipy） 122 6.7 从矩阵优化获得的经验教训 124 6.8 Pandas 126 6.8.1 Pandas的内部模型 127 6.8.2 将函数应用于多行数据 128 6.8.3 根据部分结果而不是使用拼接来创建DataFrame和Series 135 6.8.4 有多种解决问题的方式（而且可能有更快的方式） 136 6.8.5 Pandas高效开发建议 137 6.9 小结 138 第7章  编译成C代码 139 7.1 速度提升方法 140 7.2 JIT编译器和AOT编译器 141 7.3 为何类型信息有助于提高代码运行速度 142 7.4 使用C语言编译器 143 7.5 回顾朱利亚集合示例 143 7.6 Cython 144 7.7 pyximport 146 7.7.1 使用Cython标注选项来分析代码块 146 7.7.2 添加类型标注 149 7.8 Cython和numpy 152 7.9 Numba 156 7.10 PyPy 159 7.10.1 垃圾收集方面的差异 160 7.10.2 运行PyPy及安装模块 160 7.11 速度提升小结 162 7.12 各种技术的适用场景 163 7.13 图形处理单元 165 7.13.1 动态图：PyTorch 165 7.13.2 GPU基本剖析 168 7.13.3 GPU性能考虑因素 169 7.13.4 在什么情况下使用GPU 170 7.14 语言交互接口 172 7.14.1 ctypes 173 7.14.2 cffi 175 7.14.3 f2py 177 7.14.4 CPython模块 180 7.15 小结 184 第8章  异步I/O 186 8.1 异步编程简介 187 8.2 async/await的工作原理 190 8.2.1 串行爬虫 191 8.2.2 gevent 192 8.2.3 tornado 196 8.2.4 aiohttp 199 8.3 兼具CPU密集型和I/O密集型的问题 202 8.3.1 串行版 203 8.3.2 分批处理结果 204 8.3.3 接近异步 207 8.4 小结 211 第9章  模块multiprocessing 213 9.1 模块multiprocessing概述 216 9.2 使用蒙特卡罗方法估算圆周率 217 9.3 使用进程和线程估算圆周率 219 9.3.1 使用Python对象 219 9.3.2 使用Joblib而不是multiprocessing 225 9.3.3 并行系统中的随机数 229 9.3.4 使用numpy 230 9.4 查找素数 232 9.5 使用进程间通信验证素数 242 9.5.1 串行解决方案 247 9.5.2 朴素进程池解决方案 247 9.5.3 改进的朴素进程池解决方案 248 9.5.4 将Manager.Value用作标志 249 9.5.5 将Redis用作标志 251 9.5.6 将RawValue用作标志 253 9.5.7 将mmap用作标志 254 9.5.8 将mmap用作标志（终极版） 255 9.6 使用multiprocessing共享numpy数据 257 9.7 同步文件和变量访问 263 9.7.1 锁定文件 263 9.7.2 锁定值 267 9.8 小结 269 第 10章  集群和作业队列 271 10.1 集群的优点 272 10.2 集群的缺点 273 10.2.1 糟糕的集群升级策略让华尔街大牛损失4.62亿美元 274 10.2.2 Skype全球24小时中断服务 274 10.3 常见的集群设计 275 10.4 如何启动集群解决方案 276 10.5 使用集群时如何避免麻烦 276 10.6 两种集群解决方案 277 10.6.1 使用IPython Parallel为研究工作提供支持 278 10.6.2 使用Dask并行化Pandas 281 10.7 使用NSQ打造健壮的生产集群 284 10.7.1 队列 284 10.7.2 发布者/订阅者 285 10.7.3 分布式素数计算 287 10.8 其他集群工具 291 10.9 Docker 292 10.9.1 Docker的性能 292 10.9.2 Docker的优点 295 10.10 小结 296 第 11章  减少内存占用量 297 11.1 基本类型对象的开销很高 298 11.1.1 模块array可高效地存储大量的基本类型对象 299 11.1.2 使用NumExpr减少NumPy占用的内存量 302 11.2 理解集合占用的内存 305 11.3 比较字节和Unicode 307 11.4 在内存中高效地存储大量文本 307 11.5 使用scikit-learn FeatureHasher进行文本建模 315 11.6 DictVectorizer和FeatureHasher简介 316 11.7 SciPy稀疏矩阵 319 11.8 减少内存占用量的技巧 322 11.9 概率数据结构 322 11.9.1 使用1字节的莫里斯计数器实现非常接近的计数 323 11.9.2 K最小值 326 11.9.3 布隆过滤器 329 11.9.4 LogLog计数器 335 11.9.5 实例 339 第 12章  实战经验教训 342 12.1 使用特征引擎简化特征工程流水线 342 12.1.1 机器学习中的特征工程 343 12.1.2 艰巨的特征工程流水线部署任务 343 12.1.3 利用开源Python库 344 12.1.4 使用Feature-engine简化特征工程流水线的构建和部署工作 344 12.1.5 推广新的开源包 345 12.1.6 开发和维护开源库及鼓励积极投稿 346 12.2 表现出色的数据科学团队 347 12.2.1 需要多长时间 347 12.2.2 探索和规划 348 12.2.3 管理预期和交付 349 12.3 Numba 350 12.3.1 一个简单的示例 350 12.3.2 很好实践和建议 352 12.3.3 寻求帮助 355 12.4 优化和思维 356 12.5 Adaptive Lab的社交媒体分析（2014） 358 12.5.1 Adaptive Lab的Python使用情况 358 12.5.2 SoMA的设计 358 12.5.3 开发方法 359 12.5.4 维护SoMA 359 12.5.5 给同行的建议 360 12.6 RadimRehurek网站如何让深度学习快步如飞（2014） 360 12.6.1 管用的策略 360 12.6.2 优化方面的经验教训 362 12.6.3 结语 364 12.7 Lyst网站可用于生产环境的大规模机器学习（2014） 364 12.7.1 集群设计 364 12.7.2 发展迅猛的初创公司中的代码迭代 365 12.7.3 构建推荐引擎 365 12.7.4 报告和监控 365 12.7.5 一些建议 366 12.8 Smesh的大规模社交媒体分析（2014） 366 12.8.1 Python在Smesh中扮演的角色 366 12.8.2 平台 367 12.8.3 实时高性能字符串匹配 367 12.8.4 报告、监控、调试和部署 368 12.9 使用PyPy成功地实现Web和数据处理系统（2014） 369 12.9.1 使用的工具 370 12.9.2 数据库 370 12.9.3 Web应用 371 12.9.4 OCR和翻译 371 12.9.5 任务分配和任务队列 371 12.9.6 结语 372 12.10 Lanyrd的任务队列（2014） 372 12.10.1 Python在Lanyrd扮演的角色 372 12.10.2 让任务队列表现出色 373 12.10.3 报告、监控、调试和部署 373 12.10.4 给同行的建议 373

米夏·戈雷利克，Fast Forward Labs联合创始人，致力于探讨与机器学习研究和利用相关的伦理及现实问题。 伊恩·欧日沃尔德，首席数据科学家兼团队指导；PyData伦敦年会的组织者之一；负责运营位于伦敦的咨询公司Mor Consulting Data Science；经常在国际会议上发表演讲。

本书将改变你的编程思维，这样的编程作品凤毛麟角。 ——Hilary Mason，Residence at Accel数据科学家

Python语言是一种脚本语言，应用领域非常广泛，包括数据分析、自然语言处理、机器学习、科学计算、推荐系统构建等。

本书共有12章，围绕如何进行代码优化和加快实际应用程序的运行速度进行讲解，还介绍了如何解决CPU密集型问题、数据传输和内存密集型问题，如何通过移动数据、PyPy即时编译器和异步I/O提升性能。本书主要包括以下内容：计算机原理、列表和元组、字典和集合、迭代器、Python模块、并发性、集群计算等。最后，本书通过一系列真实案例展现了在应用场景中使用Python时需要注意的问题。

1.基于Python 3编写，教你如何有效找出计算密集型程序的性能瓶颈，加快代码的执行速度。 2.内容丰富实用，探索设计背后的基本理论，让读者对Python实现有更深入的认识。 3.真实案例，易学易懂。对编程经验丰富的Python程序员，本书将阐述如何充分利用多核体系结构或集群，如何让系统在不丧失可靠性的情况下扩缩容。 4.知识点系统，逻辑清晰。通过本书，读者将会更牢固地掌握NumPy、Cython和剖析器，学会同时管理多个I/O和计算操作。