正版 机器学习(Python版) [美]马克·E. 芬纳(Mark E. Fenner)

译者序<br/>推荐序<br/>前言<br/>作者简介<br/>第一部分  机器学习入门<br/>第1章  机器学习概论 2<br/>1.1  欢迎来到机器学习的世界 2<br/>1.2  范围、术语、预测和数据 3<br/>1.2.1  特征 4<br/>1.2.2  目标值和预测值 5<br/>1.3  让机器开始机器学习 6<br/>1.4  学习系统举例 8<br/>1.4.1  预测类别：分类器举例 8<br/>1.4.2  预测值：回归器举例 9<br/>1.5  评估机器学习系统 10<br/>1.5.1  准确率 10<br/>1.5.2  资源消耗 11<br/>1.6  创建机器学习系统的过程 12<br/>1.7  机器学习的假设和现实 13<br/>1.8  本章参考阅读资料 15<br/>1.8.1  本书内容 15<br/>1.8.2  章节注释 16<br/>第2章  相关技术背景 18<br/>2.1  编程环境配置 18<br/>2.2  数学语言的必要性 18<br/>2.3  用于解决机器学习问题的软件 19<br/>2.4  概率 20<br/>2.4.1  基本事件 21<br/>2.4.2  独立性 22<br/>2.4.3  条件概率 23<br/>2.4.4  概率分布 24<br/>2.5  线性组合、加权和以及点积 27<br/>2.5.1  加权平均 29<br/>2.5.2  平方和 31<br/>2.5.3  误差平方和 32<br/>2.6  几何视图：空间中的点 33<br/>2.6.1  直线 33<br/>2.6.2  直线拓展 37<br/>2.7  表示法和加1技巧 41<br/>2.8  渐入佳境：突破线性和非线性 42<br/>2.9  NumPy与“数学无所不在” 45<br/>2.10  浮点数问题 49<br/>2.11  本章参考阅读资料 50<br/>2.11.1  本章小结 50<br/>2.11.2  章节注释 51<br/>第3章  预测类别：分类入门 52<br/>3.1  分类任务 52<br/>3.2  一个简单的分类数据集 53<br/>3.3  训练和测试：请勿应试教育 55<br/>3.4  评估：考试评分 58<br/>3.5  简单分类器#1：最近邻分类器、远距离关系和假设 59<br/>3.5.1  定义相似性 60<br/>3.5.2  k?-最近邻中的k 61<br/>3.5.3  答案组合 61<br/>3.5.4  k?-最近邻、参数和非参数方法 61<br/>3.5.5  建立一个k?-最近邻分类模型 62<br/>3.6  简单分类器#2：朴素贝叶斯分类器、<br/>  概率和违背承诺 64<br/>3.7  分类器的简单评估 66<br/>3.7.1  机器学习的性能 66<br/>3.7.2  分类器的资源消耗 67<br/>3.7.3  独立资源评估 73<br/>3.8  本章参考阅读资料 77<br/>3.8.1  局限性和尚未解决的问题 77<br/>3.8.2  本章小结 77<br/>3.8.3  章节注释 77<br/>3.8.4  练习题 79<br/>第4章  预测数值：回归入门 80<br/>4.1  一个简单的回归数据集 80<br/>4.2  最近邻回归和汇总统计 82<br/>4.2.1  中心度量方法：中位数和均值 83<br/>4.2.2  构建一个k?-最近邻回归模型 85<br/>4.3  线性回归和误差 86<br/>4.3.1  地面总是不平坦的：为什么需要斜坡 86<br/>4.3.2  倾斜直线 89<br/>4.3.3  执行线性回归 91<br/>4.4  优化：选择很好答案 92<br/>4.4.1  随机猜测 92<br/>4.4.2  随机调整 93<br/>4.4.3  智能调整 94<br/>4.4.4  计算的捷径 94<br/>4.4.5  线性回归的应用 95<br/>4.5  回归器的简单评估和比较 95<br/>4.5.1  均方根误差 95<br/>4.5.2  机器学习的性能 96<br/>4.5.3  回归过程中的资源消耗 96<br/>4.6  本章参考阅读资料 98<br/>4.6.1  局限性和尚未解决的问题 98<br/>4.6.2  本章小结 99<br/>4.6.3  章节注释 99<br/>4.6.4  练习题 99<br/>第二部分  通用评估技术<br/>第5章  机器学习算法的评估和比较分析 102<br/>5.1  评估和大道至简的原则 102<br/>5.2  机器学习阶段的术语 103<br/>5.2.1  有关机器的重新讨论 104<br/>5.2.2  更规范的阐述 106<br/>5.3  过拟合和欠拟合 109<br/>5.3.1  合成数据和线性回归 109<br/>5.3.2  手动操控模型的复杂度 111<br/>5.3.3  金凤花姑娘（“恰到好处”原则）：可视化过拟合、欠拟合和“很好拟合” 112<br/>5.3.4  简单性 115<br/>5.3.5  关于过拟合必须牢记的注意事项 116<br/>5.4  从误差到成本 116<br/>5.4.1  损失 116<br/>5.4.2  成本 117<br/>5.4.3  评分 118<br/>5.5  （重新）抽样：以少胜多 119<br/>5.5.1  交叉验证 119<br/>5.5.2  分层抽样 122<br/>5.5.3  重复的训练-测试集拆分 124<br/>5.5.4  一种更好的方法和混排 127<br/>5.5.5  留一交叉验证 131<br/>5.6  分解：将误差分解为偏差和方差 132<br/>5.6.1  数据的方差 133<br/>5.6.2  模型的方差 133<br/>5.6.3  模型的偏差 134<br/>5.6.4  结合所有的因素 134<br/>5.6.5  偏差-方差权衡示例 135<br/>5.7  图形可视化评估和比较 139<br/>5.7.1  学习曲线：到底需要多少数据 139<br/>5.7.2  复杂度曲线 141<br/>5.8  使用交叉验证比较机器学习模型 143<br/>5.9  本章参考阅读资料 144<br/>5.9.1  本章小结 144<br/>5.9.2  章节注释 144<br/>5.9.3  练习题 146<br/>第6章  评估分类器 147<br/>6.1  基线分类器 147<br/>6.2  准确率以外：分类器的其他度量指标 149<br/>6.2.1  从混淆矩阵中消除混淆 151<br/>6.2.2  错误的方式 151<br/>6.2.3  基于混淆矩阵的度量指标 152<br/>6.2.4  混淆矩阵编码 154<br/>6.2.5  处理多元类别：多元类别平均 156<br/>6.2.6  F1分数 158<br/>6.3  ROC曲线 159<br/>6.3.1  ROC模式 161<br/>6.3.2  二元分类ROC 162<br/>6.3.3  AUC：（ROC）曲线下的面积 165<br/>6.3.4  多元分类机器学习模型、“一对其他”和ROC 166<br/>6.4  多元分类的另一种方法：“一对一” 168<br/>6.4.1  “一对一”方法 168<br/>6.4.2  多元分类AUC第二部分：寻找单一值 170<br/>6.5  准确率-召回率曲线 173<br/>6.5.1  关于准确率-召回率权衡的说明 173<br/>6.5.2  构建准确率-召回率曲线 174<br/>6.6  累积响应和提升曲线 174<br/>6.7  更复杂的分类器评估：第二阶段 177<br/>6.7.1  二元分类 177<br/>6.7.2  一个新颖的多元分类问题 182<br/>6.8  本章参考阅读资料 187<br/>6.8.1  本章小结 187<br/>6.8.2  章节注释 187<br/>6.8.3  练习题 189<br/>第7章  评估回归器 190<br/>7.1  基线回归器 191<br/>7.2  回归器的其他度量指标 192<br/>7.2.1  创建自定义的评估指标 192<br/>7.2.2  其他内置的回归度量指标 193<br/>7.2.3  R2 194<br/>7.3  误差图和残差图 199<br/>7.3.1  误差图 199<br/>7.3.2  残差图 202<br/>7.4  标准化初探 205<br/>7.5  使用更复杂的方法评估回归系数：第二阶段 209<br/>7.5.1  多个度量指标的交叉验证结果 210<br/>7.5.2  交叉验证结果汇总 213<br/>7.5.3  残差 214<br/>7.6  本章参考阅读资料 216<br/>7.6.1  本章小结 216<br/>7.6.2  章节注释 216<br/>7.6.3  练习题 218<br/>第三部分  更多方法和其他技术<br/>第8章  更多分类方法 220<br/>8.1  重温分类知识 220<br/>8.2  决策树 222<br/>8.2.1  树构建算法 224<br/>8.2.2  让我们开始吧：决策树时间 227<br/>8.2.3  决策树中的偏差和方差 230<br/>8.3  支持向量分类器 230<br/>8.3.1  执行支持向量分类器 233<br/>8.3.2  SVC中的偏差和方差 236<br/>8.4  逻辑回归 238<br/>8.4.1  投注几率 239<br/>8.4.2  概率、几率和对数几率 241<br/>8.4.3  实现操作：逻辑回归版本 245<br/>8.4.4  逻辑回归：空间奇异性 247<br/>8.5  判别分析 248<br/>8.5.1  协方差 249<br/>8.5.2  方法 259<br/>8.5.3  执行判别分析 260<br/>8.6  假设、偏差和分类器 262<br/>8.7  分类器的比较：第三阶段 264<br/>8.8  本章参考阅读资料 267<br/>8.8.1  本章小结 267<br/>8.8.2  章节注释 267<br/>8.8.3  练习题 270<br/>第9章  更多回归方法 271<br/>9.1  惩罚框中的线性回归：正则化 272<br/>9.1.1  正则化回归概述 272<br/>9.1.2  执行正则化回归 276<br/>9.2  支持向量回归 277<br/>9.2.1  铰链损失 277<br/>9.2.2  从线性回归到正则化回归再到支持向量回归 280<br/>9.2.3  实践应用：支持向量回归风格 282<br/>9.3  分段常数回归 282<br/>9.3.1  实施分段常数回归器 284<br/>9.3.2  模型实现的一般说明 285<br/>9.4  回归树 287<br/>9.5  回归器比较：第三阶段 288<br/>9.6  本章参考阅读资料 291<br/>9.6.1  本章小结 291<br/>9.6.2  章节注释 291<br/>9.6.3  练习题 292<br/>第10章  手动特征工程：操作数据的乐趣和意义 293<br/>10.1  特征工程的术语和动机 293<br/>10.1.1  为什么选择特征工程 294<br/>10.1.2  何时开始特征工程 294<br/>10.1.3  特征工程是如何发生的 296<br/>10.2  特征选择和数据简化：清除垃圾 296<br/>10.3  特征缩放 297<br/>10.4  离散化 300<br/>10.5  分类编码 303<br/>10.5.1  数据的编码技术 303<br/>10.5.2  编码的另一种方式以及无截距的奇怪情况 306<br/>10.6  关系和相互作用 312<br/>10.6.1  手动特征构造 312<br/>10.6.2  相互作用 314<br/>10.6.3  使用转换器添加特征 319<br/>10.7  对输入空间和目标的相关操作 320<br/>10.7.1  对输入空间的相关操作 321<br/>10.7.2  对目标的相关操作 323<br/>10.8  本章参考阅读资料 325<br/>10.8.1  本章小结 325<br/>10.8.2  章节注释 326<br/>10.8.3  练习题 326<br/>第11章  调整超参数和管道技术 328<br/>11.1  模型、参数、超参数 329<br/>11.2  调整超参数 330<br/>11.2.1  关于计算机科学和机器学习术语的说明 331<br/>11.2.2  关于完整搜索的示例 331<br/>11.2.3  使用随机性在大海捞针 337<br/>11.3  递归的神奇世界：嵌套交叉验证 337<br/>11.3.1  重温交叉验证 338<br/>11.3.2  作为模型的网格搜索 339<br/>11.3.3  交叉验证中嵌套的交叉验证 340<br/>11.3.4  关于嵌套交叉验证的注释 341<br/>11.4  管道技术 344<br/>11.4.1  一个简单的管道 344<br/>11.4.2  更复杂的管道 346<br/>11.5  管道和调参相结合 347<br/>11.6  本章参考阅读资料 348<br/>11.6.1  本章小结 348<br/>11.6.2  章节注释 348<br/>11.6.3  练习题 349<br/>第四部分  不错主题<br/>第12章  组合机器学习模型 352<br/>12.1  集成 352<br/>12.2  投票集成 354<br/>12.3  装袋法和随机森林 355<br/>12.3.1  自举 355<br/>12.3.2  从自举到装袋法 358<br/>12.3.3  随机森林 360<br/>12.4  提升方法 362<br/>12.4.1  提升方法的核心理念 362<br/>12.4.2  提升方法实现细节 363<br/>12.5  各种树集成方法的比较 365<br/>12.6  本章参考阅读资料 368<br/>12.6.1  本章小结 368<br/>12.6.2  章节注释 368<br/>12.6.3  练习题 370<br/>第13章  提供特征工程的模型 371<br/>13.1  特征选择 373<br/>13.1.1  基于度量特征的“单步筛选”方法 374<br/>13.1.2  基于模型的特征选择 384<br/>13.1.3  将特征选择与机器学习管道相集成 387<br/>13.2  基于核的特征构造 389<br/>13.2.1  核激励因子 389<br/>13.2.2  手动核方法 394<br/>13.2.3  核方法和核选项 398<br/>13.2.4  核化支持向量分类器：支持向量机 401<br/>13.2.5  关于SVM的建议和示例 403<br/>13.3  主成分分析：一种无监督技术 404<br/>13.3.1  预热：中心化数据 405<br/>13.3.2  寻找不同的很好线路 406<br/>13.3.3  第一次执行PCA 407<br/>13.3.4  PCA的内部原理 410<br/>13.3.5  结局：对一般PCA的评论 415<br/>13.3.6  核心PCA和流形方法 415<br/>13.4  本章参考阅读资料 419<br/>13.4.1  本章小结 419<br/>13.4.2  章节注释 419<br/>13.4.3  练习题 424<br/>第14章  领域特征工程：领域特定的机器学习 425<br/>14.1  处理文本 426<br/>14.1.1  对文本进行编码 427<br/>14.1.2  文本学习的示例 432<br/>14.2  聚类 434<br/>14.3  处理图像 436<br/>14.3.1  视觉词袋 436<br/>14.3.2  图像数据 437<br/>14.3.3  端到端系统 438<br/>14.3.4  全局视觉词袋转换器的完整代码 444<br/>14.4  本章参考阅读资料 447<br/>14.4.1  本章小结 447<br/>14.4.2  章节注释 447<br/>14.4.3  练习题 448<br/>第15章  连接、扩展和未来的研究方向 450<br/>15.1  优化 450<br/>15.2  基于原始数据的线性回归 453<br/>15.2.1  线性回归的方法和分析 453<br/>15.2.2  线性回归的可视化视图 456<br/>15.3  基于原始数据构建逻辑回归 456<br/>15.3.1  采用0-1编码的逻辑回归 458<br/>15.3.2  加1减1编码的逻辑回归 459<br/>15.3.3  逻辑回归的可视化视图 461<br/>15.4  基于原始数据的SVM 461<br/>15.5  神经网络 462<br/>15.5.1  线性回归的神经网络视图 463<br/>15.5.2  逻辑回归的神经网络视图 465<br/>15.5.3  超越基本神经网络 466<br/>15.6  概率图模型 467<br/>15.6.1  抽样 468<br/>15.6.2  线性回归的概率图模型视图 469<br/>15.6.3  逻辑回归的概率图模型视图 472<br/>15.7  本章参考阅读资料 474<br/>15.7.1  本章小结 474<br/>15.7.2  章节注释 474<br/>15.7.3  练习题 475<br/>附录  mlwpy.py程序清单 476

马克·E.芬纳（Mark E. Fenner）博士从1999年开始，一直从事成.人计算机和数学的教学工作，教授过的学员有大学一年级的新生，也有头发斑白的行业资深人士。在从事教学工作的同时，芬纳博士还从事机器学习、生物信息学和计算机安全方面的研究工作。芬纳博士参与的项目涉及机器学习和数值算法的设计、实现与性能调优，软件仓库的安全性分析，用户异常检测的机器学习系统，蛋白质功能的概率建模，以及生态数据和显微镜数据的分析与可视化等。芬纳博士对计算机、数学、历史和冒险运动有着深厚的兴趣。在写作、教学或者编码之余，他会骑着山地车在树林里自由地纵情驰骋，或者纵情驰骋后惬意地在游泳池边喝啤酒。芬纳博士的柔道级别为二段，同时也是一名通过认证的野外急救员。芬纳博士和他的妻子都是埃里格尼学院和匹兹堡大学的毕业生。芬纳博士拥有计算机科学博士学位。他和家人住在宾夕法尼亚州东北部，并在自己开办的公司Fenner Training and Consulting，LLC工作。

本书面向初学者，使用Python语言以及流行的scikit-learn机器学习库等资源，通过易于实践的项目，帮助读者掌握开发有效的机器学习系统所需的流程、模式和策略。 与包含大量数学公式的书籍不同，本书主要通过故事、图片和代码示例来讲解机器学习的概念和技术，尽量减轻读者在数学方面的负担，但要求读者具备一定的编程基础。书中逐步引导读者完成构建、训练和评估学习系统的每一步，在此过程中，根据需要不断填充机器学习系统的各个组成部分，拓展机器学习工具箱，并尝试探索复杂的新技术。 本书主要内容： 理解机器学习的算法、模型和核心概念。 构建分类器和回归器。 评估机器学习系统的性能。 利用特征工程将原始的粗糙数据平滑成有用的格式。 将多个组件连接到一个系统中，并调整其性能。 将机器学习技术应用于图像处理和文本处理。 将核心概念与神经网络和图模型联系起来。