[正版]机器学习(从基础理论到典型算法原书第2版)/智能科学与技术丛书

本书深入浅出地介绍了目前机器学习领域中重要的理论和关键的算法，涵盖机器学习的前沿内容，同时提供讨论和证明算法所需的理论基础与概念，并且指出了这些算法在实际应用中的关键点，旨在通过对一些基本问题乃至前沿问题的精确证明，为读者提供新的理念和理论工具。本书注重对算法的分析和理论的关注，涉及的内容包括概率近似正确（PAC）学习框架、基于Rademacher复杂度和VC-维的泛化界、支持向量机（SVM）、核方法、boosting、在线学习、多分类、排序、回归、算法稳定性、降维、学习自动机和语言及强化学习。

译者序

前言

第1章 引言

 1.1 什么是机器学习

 1.2 机器学习可以解决什么样的问题

 1.3 一些典型的学习任务

 1.4 学习阶段

 1.5 学习情境

 1.6 泛化

第2章 PAC学习框架

 2.1 PAC学习模型

 2.2 对有限假设集的学习保证——一致的情况

 2.3 对有限假设集的学习保证——不一致的情况

 2.4 泛化性

 2.4.1 确定性与随机性情境

 2.4.2 贝叶斯误差与噪声

 2.5 文献评注

 2.6 习题

第3章 Rademacher复杂度和VC-维

 3.1 Rademacher复杂度

 3.2 生长函数

 3.3 VC-维

 3.4 下界

 3.5 文献评注

 3.6 习题

第4章 模型选择

 4.1 估计误差和近似误差

 4.2 经验风险最小化

 4.3 结构风险最小化

 4.4 交叉验证

 4.5 n-折交叉验证

 4.6 基于正则化的算法

 4.7 凸替换项损失

 4.8 文献评注

 4.9 习题

第5章 支持向量机

 5.1 线性分类

 5.2 可分情况

 5.2.1 原始优化问题

 5.2.2 支持向量

 5.2.3 对偶优化问题

 5.2.4 留一法

 5.3 不可分情况

 5.3.1 原始优化问题

 5.3.2 支持向量

 5.3.3 对偶优化问题

 5.4 间隔理论

 5.5 文献评注

 5.6 习题

第6章 核方法

 6.1 引言

 6.2 正定对称核

 6.2.1 定义

 6.2.2 再生核希尔伯特空间

 6.2.3 性质

 6.3 基于核的算法

 6.3.1 具有PDS核的SVM

 6.3.2 表示定理

 6.3.3 学习保证

 6.4 负定对称核

 6.5 序列核

 6.5.1 加权转换器

 6.5.2 有理核

 6.6 近似核特征映射

 6.7 文献评注

 6.8 习题

第7章 boosting

 7.1 引言

 7.2 AdaBoost算法

 7.2.1 经验误差的界

 7.2.2 与坐标下降的关系

 7.2.3 实践中的使用方式

 7.3 理论结果

 7.3.1 基于VC-维的分析

 7.3.2 L1-几何间隔

 7.3.3 基于间隔的分析

 7.3.4 间隔最大化

 7.3.5 博弈论解释

 7.4 L1-正则化

 7.5 讨论

 7.6 文献评注

 7.7 习题

第8章 在线学习

 8.1 引言

 8.2 有专家建议的预测

 8.2.1 错误界和折半算法

 8.2.2 加权多数算法

 8.2.3 随机加权多数算法

 8.2.4 指数加权平均算法

 8.3 线性分类

 8.3.1 感知机算法

 8.3.2 Winnow算法

 8.4 在线到批处理的转换

 8.5 与博弈论的联系

 8.6 文献评注

 8.7 习题

第9章 多分类

 9.1 多分类问题

 9.2 泛化界

 9.3 直接型多分类算法

 9.3.1 多分类SVM

 9.3.2 多分类boosting算法

 9.3.3 决策树

 9.4 类别分解型多分类算法

 9.4.1 一对多

 9.4.2 一对一

 9.4.3 纠错输出编码

 9.5 结构化预测算法

 9.6 文献评注

 9.7 习题

第10章 排序

 10.1 排序问题

 10.2 泛化界

 10.3 使用SVM进行排序

 10.4 RankBoost

 10.4.1 经验误差界

 10.4.2 与坐标下降的关系

 10.4.3 排序问题集成算法的间隔界

 10.5 二部排序

 10.5.1 二部排序中的boosting算法

 10.5.2 ROC曲线下面积

 10.6 基于偏好的情境

 10.6.1 两阶段排序问题

 10.6.2 确定性算法

 10.6.3 随机性算法

 10.6.4 关于其他损失函数的扩展

 10.7 其他的排序准则

 10.8 文献评注

 10.9 习题

第11章 回归

 11.1 回归问题

 11.2 泛化界

 11.2.1 有限假设集

 11.2.2 Rademacher复杂度界

 11.2.3 伪维度界

 11.3 回归算法

 11.3.1 线性回归

 11.3.2 核岭回归

 11.3.3 支持向量回归

 11.3.4 Lasso

 11.3.5 组范数回归算法

 11.3.6 在线回归算法

 11.4 文献评注

 11.5 习题

第12章 最大熵模型

 12.1 密度估计问题

 12.1.1 最大似然解

 12.1.2 最大后验解

 12.2 添加特征的密度估计问题

 12.3 最大熵准则

 12.4 最大熵模型简介

 12.5 对偶问题

 12.6 泛化界

 12.7 坐标下降算法

 12.8 拓展

 12.9 L2-正则化

 12.10 文献评注

 12.11 习题

第13章 条件最大熵模型

 13.1 学习问题

 13.2 条件最大熵准则

 13.3 条件最大熵模型简介

 13.4 对偶问题

 13.5 性质

 13.5.1 优化问题

 13.5.2 特征向量

 13.5.3 预测

 13.6 泛化界

 13.7 逻辑回归

 13.7.1 优化问题

 13.7.2 逻辑模型

 13.8 L2-正则

 13.9 对偶定理的证明

 13.10 文献评注

 13.11 习题

第14章 算法稳定性

 14.1 定义

 14.2 基于稳定性的泛化保证

 14.3 基于核的正则化算法的稳定性

 14.3.1 应用于回归算法：以SVR和KRR为例

 14.3.2 应用于分类算法：以SVM为例

 14.3.3 讨论

 14.4 文献评述

 14.5 习题

第15章 降维

 15.1 主成分分析

 15.2 核主成分分析

 15.3 KPCA和流形学习

 15.3.1 等距映射

 15.3.2 拉普拉斯特征映射

 15.3.3 局部线性嵌入

 15.4 Johnson-Lindenstrauss引理

 15.5 文献评注

 15.6 习题

第16章 学习自动机和语言

 16.1 引言

 16.2 有限自动机

 16.3 高效精确学习

 16.3.1 被动学习

 16.3.2 通过查询学习

 16.3.3 通过查询学习自动机

 16.4 极限下的识别

 16.5 文献评注

 16.6 习题

第17章 强化学习

 17.1 学习情境

 17.2 马尔可夫决策过程模型

 17.3 策略

 17.3.1 定义

 17.3.2 策略值

 17.3.3 最优策略

 17.3.4 策略评估

 17.4 规划算法

 17.4.1 值迭代

 17.4.2 策略迭代

 17.4.3 线性规划

 17.5 学习算法

 17.5.1 随机逼近

 17.5.2 TD（0）算法

 17.5.3 Q-学习算法

 17.5.4 SARSA算法

 17.5.5 TD（λ）算法

 17.5.6 大状态空间

 17.6 文献评注

后记

附录A 线性代数回顾

附录B 凸优化

附录C 概率论回顾

附录D 集中不等式

附录E 信息论回顾

附录F 符号

参考文献

索引

梅尔亚·莫里(Mehryar Mohri)，纽约大学库兰特数学科学研究所计算机科学与数学教授，同时任谷歌研究院的研究顾问。主要研究方向包括机器学习理论和算法、语音处理、自动机理论和算法、自然语言处理、计算生物学等。曾在AT＆T实验室研究部担任部门主管和技术负责人。他是多个核心加权自动机和有限状态机算法的作者，在将加权有限状态机应用于语音识别和自然语言处理方面做了开创性的工作。

阿夫欣·罗斯塔米扎达尔(Afshin Rostamizadeh)，谷歌研究院高级研究员。他拥有纽约大学计算机科学博士学位，加州大学伯克利分校电子工程与计算机学士学位。

阿米特·塔尔沃卡尔（Anqeet Talwalkar），卡内基·梅隆大学机器学习系助理教授，同时还是AI初创企业Determined AI的联合创始人和首席科学家。他拥有纽约大学计算机科学-机器学习博士学位，还曾是加州大学伯克利分校电子工程与计算机系博士后研究员。

张文生，中国科学院自动化研究所研究员、副总工程师、博士生导师，原科技处处长、重大项目处处长。中国科学院大学人工智能首席教授，中国科技大学讲座教授、博士生导师。主要研究方向为人工智能、统计机器学习、大数据知识挖掘、嵌入式视频图像处理。国家云计算和大数据重点专项总体组专家、物联网与智慧城市重点专项实施专家组专家、国家自然科学基金委评审专家、中国自动化学会人机交互专业委员会秘书长。主持完成6项国家自然科学基金重点与面上项目，9项国家863项目、支撑计划项目和973计划课题研究。已经在国内外学术期刊与学术会议上发表160余篇论文，获得国家发明专利30余项。

杨雪冰，中国科学院自动化研究所副研究员。2013年本科毕业于清华大学，2018年博士毕业于中国科学院自动化研究所，中国科学院大学优秀毕业生、北京市优秀毕业生。主要研究包括机器学习、大数据知识挖掘、人工智能与智慧气象及辅助医疗的交叉应用。担任中国气象服务协会人工智能技术委员会秘书长，参与研发的精准降水产品获“气象科技二等奖”并在中国天气网、微信城市天气向公众提供气象服务。主持国家自然科学基金青年基金1项，作为项目骨干承担“新一代人工智能”重大项目1项、国家自然科学基金重点和面上项目5项，出版机器学习方面译著2部，在国内外权威期刊如TKDE、TGRS、TCSVT、QJRMS、GRSL、软件学报等发表学术论文近20篇。

吴雅婧，中国科学院自动化研究所助理研究员。2016年本科毕业于山东大学，2021年博士毕业于中国科学院自动化研究所。主要研究包括机器学习、人工智能、大数据知识挖掘以及相关交叉领域的实际应用问题。