[正版新书]机器学习:从公理到算法(第2版) 于剑,景丽萍 清华大学出版社 机器学习

机器学习的主要目的是从有限的数据中学习到知识。而知识的基本单元是概念。借助于概念，人类可以在繁复的思想与多彩的世界之间建立起映射，指认各种对象，发现各种规律，表达各种想法，交流各种观念。一旦缺失相应的概念，人们将无法思考、交流，甚至于无法顺利地生活、学习、工作、医疗、娱乐等。哲学家如卡西尔等甚至认为人类的本质特性是能够使用和创造各种符号概念。因此，如何使机器能够像人一样能够自动发现、运用概念，正是机器学习当前的重要研究内容。本书将集中讨论这个问题。本书借助学于认知科学的研究成果，提出了类的统一表示数学模型，以及与之相关的归类问题的统一数学表示。由此提出了类表示公理，归类公理和归类测试公理。据此， 本书分别研究了归类结果分类、归类算法分类、以及归类判据设计原则等诸多问题。 并借助于提出的公理模型以统一的方式解释了机器学习中数据降维、密度估计、回归、聚类和分类等问题中常用的归类算法。

于剑,北京交通大学计算机学院教授,博导,人工智能研究院院长,中国人工智能学会会士、副秘书长。承担多项国家自然科学基金项目,发表多篇学术论文, 包括TPAMI, CVPR 等。

本书第1版于2017年出版，出版后受到广泛好评，被多所高等院校作为本科生、研究生教材。

目 录

第 1 章 引言 1

1.1 机器学习的目的：从数据到知识 1

1.2 机器学习的基本框架 2

1.2.1 数据集合与对象特性表示 3

1.2.2 学习判据 4

1.2.3 学习算法 5

1.2.4 评估方法 5

1.3 机器学习思想简论 5

延伸阅读 7

习题 8

参考文献 9

第 2 章 归类理论 11

2.1 类表示与类表示公理 13

2.2 归类公理 17

2.3 归类结果分类 20

2.4 归类方法设计准则 22

2.4.1 类一致性准则 23

2.4.2 类紧致性准则 24

2.4.3 类分离性准则 25

2.4.4 奥卡姆剃刀准则 26

讨论 28

延伸阅读 29

习题 30

参考文献 32

第 3 章 密度估计 33

3.1 密度估计的参数方法 33

3.1.1 最大似然估计 33

3.1.2 贝叶斯估计 35

3.2 密度估计的非参数方法 39

3.2.1 直方图 39

3.2.2 核密度估计 39

3.2.3 K 近邻密度估计法 40

延伸阅读 40

习题 41

参考文献 41

第 4 章 回归 43

4.1 线性回归 43

4.2 岭回归 47

4.3 Lasso 回归 48

讨论 51

习题 52

参考文献 52

第 5 章 单类数据降维 55

5.1 主成分分析 56

5.2 非负矩阵分解 58

5.3 字典学习与稀疏表示 59

5.4 局部线性嵌入 61

5.5 多维度尺度分析与等距映射 64

5.6 典型关联分析 66

5.7 随机邻域嵌入及其扩展 68

5.7.1 随机邻域嵌入 68

5.7.2 t-SNE 70

讨论 71

习题 71

参考文献 72

第 6 章 聚类理论 73

6.1 聚类问题表示及相关定义 73

6.2 聚类算法设计准则 74

6.2.1 类紧致性准则和聚类不等式 74

6.2.2 类分离性准则和重合类非稳定假设 76

6.2.3 类一致性准则和迭代型聚类算法 77

6.3 聚类有效性 77

6.3.1 外部方法 77

6.3.2 内蕴方法 79

延伸阅读 80

习题 81

参考文献 81

第 7 章 聚类算法 85

7.1 样例理论：图聚类算法 85

7.1.1 层次聚类算法 86

7.1.2 HB 聚类算法 88

7.1.3 SATB 聚类算法 90

7.2 原型理论：点原型聚类算法 92

7.2.1 C 均值算法 93

7.2.2 模糊 C 均值 95

7.2.3 最大熵 C 均值算法 97

7.3 基于密度估计的聚类算法 99

7.3.1 基于参数密度估计的聚类算法 99

7.3.2 基于无参数密度估计的聚类算法 107

延伸阅读 117

习题 118

参考文献 118

第 8 章 分类理论 121

8.1 分类及相关定义 121

8.2 从归类理论到经典分类理论 122

8.2.1 PAC 理论 123

8.2.2 统计学习理论 125

8.3 分类测试公理 128

8.4 分类性能评估 129

讨论 130

习题 131

参考文献 131

第 9 章 基于单类的分类算法：神经网络 133

9.1 分类问题的回归表示 133

9.2 人工神经网络 134

9.2.1 人工神经网络简介 134

9.2.2 前馈神经网络 136

9.3 从参数密度估计到受限玻耳兹曼机 141

9.4 深度学习 143

9.4.1 自编码器 144

9.4.2 卷积神经网络 145

9.4.3 Transformer 147

讨论 149

习题 150

参考文献 151

第 10 章 K 近邻分类模型 155

10.1 K 近邻算法 156

10.1.1 K 近邻算法问题表示 156

10.1.2 K 近邻分类算法 157

10.1.3 K 近邻分类算法的理论错误率 158

10.2 距离加权最近邻算法 159

10.3 K 近邻算法加速策略 160

10.4 kd 树 161

10.5 K 近邻算法中的参数问题 162

延伸阅读 163

习题 164

参考文献 164

第 11 章 线性分类模型 165

11.1 判别函数和判别模型 165

11.2 线性判别函数 166

11.3 线性感知机算法 169

11.3.1 感知机数据表示 169

11.3.2 感知机算法的归类判据 170

11.3.3 感知机分类算法 171

11.4 支持向量机 174

11.4.1 线性可分支持向量机 174

11.4.2 近似线性可分支持向量机 177

11.4.3 多类分类问题 180

讨论 182

习题 183

参考文献 184

第 12 章 对数线性分类模型 185

12.1 Softmax 回归 185

12.2 Logistic 回归 188

讨论 190

习题 191

参考文献 191

第 13 章 贝叶斯决策 193

13.1 贝叶斯分类器 193

13.2 朴素贝叶斯分类 194

13.2.1 最大似然估计 196

13.2.2 贝叶斯估计 199

13.3 最小化风险分类 201

13.4 效用最大化分类 203

讨论 203

习题 204

参考文献 204

第 14 章 决策树 205

14.1 决策树的类表示 205

14.2 信息增益与 ID3 算法 210

14.3 增益比率与 C4.5 算法 212

14.4 Gini 指数与 CART 算法 213

14.5 决策树的剪枝 214

讨论 215

习题 215

参考文献 216

第 15 章 多类数据降维 217

15.1 有监督特征选择模型 217

15.1.1 过滤式特征选择 218

15.1.2 包裹式特征选择 219

15.1.3 嵌入式特征选择 219

15.2 有监督特征提取模型 220

15.2.1 线性判别分析 220

15.2.2 二分类线性判别分析问题 220

15.2.3 二分类线性判别分析 221

15.2.4 二分类线性判别分析优化算法 223

15.2.5 多分类线性判别分析 223

延伸阅读 225

习题 225

参考文献 225

第 16 章 多类数据升维：核方法 227

16.1 核方法 227

16.2 非线性支持向量机 228

16.2.1 特征空间 228

16.2.2 核函数 228

16.2.3 常用核函数 230

16.2.4 非线性支持向量机 230

16.3 多核方法 231

讨论 233

习题 233

参考文献 234

第 17 章 多源数据学习 235

17.1 多源数据学习的分类 235

17.2 单类多源数据学习 235

17.2.1 完整视角下的单类多源数据学习 236

17.2.2 不完整视角下的单类多源数据学习 238

17.3 多类多源数据学习 239

17.4 多源数据学习中的基本假设 240

讨论 240

习题 241

参考文献 241

后记 243

写在《机器学习：从公理到算法》第 4 次印刷之后 247

写在《机器学习：从公理到算法》第 5 次印刷之后 249

索引 251