[正版新书]机器学习与推理 俞成浦 陈文颉 邓方 清华大学出版社 机器学习 模型推理 有监督学习 无监督学习

俞成浦，北京理工大学教授、博士生导师。长期从事系统建模和控制方面的教学与研究，讲授“机器学习基础”“模式识别”等课程。发表一作SCI论文20余篇，其中ESI热点论文2篇。主持国家基金委重大项目课题、国家重点研发计划课题和基金委面上基金。完成国家高层次海外人才青年项目和十三五装备预研项目。获教育部自然科学一等奖和中国自动化学会自然科学一等奖。出版专著2部。
陈文颉，北京理工大学副教授、硕士生导师。长期从事深度学习、目标检测与识别方面的教学和研究工作，讲授“模式识别”“电磁兼容技术”等课程。发表论文50余篇，授权专利20余项。承担装备型号项目、国防研究项目和自然科学基金。获国家科技进步奖2项。出版教材1部。
邓方，北京理工大学教授、博士生导师。长期从事自主智能群系统、可穿戴泛在系统等方面教学与研究，讲授“控制系统的故障诊断与容错控制”“智能计算与信息处理”等课程。发表学术论文140余篇，授权发明专利108项。承担国家自科基金重点项目、科技创新2030重大项目等项目多项。获中国青年科技奖、北京市科技奖杰出青年中关村奖、国家科技进步奖二等奖、日内瓦国际发明展金奖、国家教学成果二等奖、北京市教学成果一、二等奖、IEEE TSMCS最佳副主编奖等。出版专著、教材各1部。

（1） 体现工程教育专业认证的理念，通过对机器学习理论和案例的讲解和分析，提升读者解决复杂工程问题的能力和自我学习能力。
（2） 将机器学习与模型推理相关的知识进行模块化整理，使读者能够快速了解本书的内容架构和知识脉络，从而进行针对性学习。
（3） 剖析机器学习与模型推理的内涵和联系，让本书能够适用于自动化领域和计算机领域的教学和科研。
（4） 每章都配备了习题，附录提供了必备基础知识，便于读者自主学习。

目 录
第1章 绪论 1
1.1 人工智能发展 2
1.2 机器学习 4
1.2.1 机器学习概念 4
1.2.2 机器学习方法 4
1.2.3 机器学习分类 5
1.3 模型推理 6
1.3.1 模型分类 6
1.3.2 模型推理概念 7
1.3.3 模型推理方法 8
1.4 应用例子 9
1.5 内容安排 12
习题 13
第一篇 机 器 学 习
第2章 统计决策方法 17
2.1 贝叶斯决策 19
2.1.1 最小错误率贝叶斯决策 19
2.1.2 最小风险贝叶斯决策 21
2.1.3 Neyman-Pearson决策 23
2.1.4 贝叶斯决策规则比较 26
2.1.5 正态分布统计决策 26
2.2 概率密度函数估计 28
2.2.1 参数估计------极大似然法 29
2.2.2 参数估计------最大后验法 31
2.2.3 参数估计------贝叶斯方法 32
2.2.4 概率密度函数估计------贝叶斯学习 35
2.2.5 非参数概率密度函数估计------k近邻法 36
2.2.6 非参数概率密度函数估计------Parzen窗法 37
习题 39
第3章 监督学习方法 42
3.1 最小二乘法 43
3.1.1 线性回归 43
3.1.2 逻辑回归 45
3.1.3 均方误差估计 46
3.2 支持向量机 48
3.2.1 标准支持向量机 48
3.2.2 软间隔与正则化 52
3.2.3 支持向量回归 54
3.3 核方法与正则化 56
3.3.1 广义线性模型 56
3.3.2 核支持向量机 61
3.3.3 正则化理论 61
3.4 神经网络 64
3.4.1 感知器 64
3.4.2 神经网络结构 68
3.4.3 反向传播算法 70
3.5 复合学习方法 73
3.5.1 集成学习 73
3.5.2 多任务学习 79
3.5.3 迁移学习 80
3.5.4 终身学习 81
3.5.5 元学习 82
习题 83
第4章 无监督学习方法 86
4.1 近邻测度和聚类准则 88
4.2 聚类方法 92
4.2.1 层次聚类算法 92
4.2.2 最优化方法聚类算法 94
4.2.3 图谱聚类算法 99
4.3 特征降维 101
4.3.1 特征选择 102
4.3.2 特征提取 106
4.4 无监督概率模型估计 116
4.4.1 期望最大化算法 117
4.4.2 混合高斯分布估计方法 120
4.4.3 因子分析方法 122
4.4.4 概率矩阵分解方法 124
习题 126
第5章 深度学习方法 128
5.1 深度网络概述 129
5.1.1 深度网络定义和种类 129
5.1.2 深度网络特点 132
5.2 深度卷积神经网络 132
5.2.1 卷积神经网络 134
5.2.2 参数学习 135
5.2.3 常见卷积神经网络 136
5.3 循环神经网络 137
5.3.1 循环网络 137
5.3.2 记忆网络和注意力机制 142
5.4 图神经网络 146
5.4.1 图神经网络基本框架 146
5.4.2 图滤波器 147
5.4.3 图池化 150
5.4.4 图神经网络学习 151
5.5 深度信念网络 153
5.5.1 玻耳兹曼机 153
5.5.2 受限玻耳兹曼机 156
5.5.3 深度信念网络 158
5.6 深度生成网络 159
5.6.1 变分自编码器 159
5.6.2 生成对抗网络 163
习题 167
第6章 近似推理方法 170
6.1 确定性近似推理 171
6.1.1 拉普拉斯近似 171
6.1.2 KL变分近似 172
6.2 采样近似推理 176
6.2.1 采样推理 176
6.2.2 马尔可夫链蒙特卡罗法 177
6.2.3 重要性采样 181
习题 183
第二篇 模 型 推 理
第7章 静态统计模型 189
7.1 线性回归模型 190
7.1.1 最优线性无偏估计 192
7.1.2 参数估计的概率分布 192
7.1.3 参数估计的置信区间 193
7.1.4 回归变量的选择------F检验法 194
7.1.5 回归变量的选择------AIC检验法 195
7.1.6 回归变量的选择------BIC检验法 196
7.2 贝叶斯线性模型 198
7.2.1 贝叶斯拟合 198
7.2.2 贝叶斯分类 201
7.2.3 贝叶斯正则化 203
7.3 隐线性模型 204
7.3.1 因子分析模型 204
7.3.2 概率主成分分析 205
7.3.3 典型相关分析 206
7.4 潜在语义模型 207
7.4.1 确定性潜在语义模型 207
7.4.2 概率潜在语义模型 209
习题 211
第8章 概率图模型 213
8.1 图模型 214
8.1.1 有向图模型 215
8.1.2 无向图模型 217
8.1.3 有向图和无向图之间的转换 219
8.2 图模型学习 220
8.2.1 不含隐变量的参数估计 220
8.2.2 含隐变量的参数估计 221
8.2.3 贝叶斯网络学习 222
8.3 图模型推理 222
8.3.1 精确推理 223
8.3.2 联合树算法 230
8.3.3 网格模型 237
习题 239
第9章 马尔可夫模型 241
9.1 离散状态马尔可夫模型 242
9.1.1 马尔可夫模型 242
9.1.2 隐马尔可夫模型 243
9.1.3 观测序列概率计算 244
9.1.4 状态序列估计 246
9.1.5 模型参数估计 250
9.2 连续状态马尔可夫模型 251
9.2.1 自回归模型 251
9.2.2 状态空间模型 252
9.2.3 线性高斯状态空间模型 254
9.2.4 非线性高斯状态空间模型 257
9.2.5 动态系统参数辨识 261
习题 264
第10章 马尔可夫决策过程 267
10.1 马尔可夫决策 269
10.1.1 策略迭代学习 271
10.1.2 值迭代学习 271
10.2 强化学习 272
10.2.1 无模型的值函数学习方法 272
10.2.2 无模型的策略函数学习方法 276
10.3 逆强化学习 280
10.3.1 基于最大边际的逆强化学习 280
10.3.2 基于最大熵的逆强化学习 282
习题 283
附录A 概率理论 286
A.1 随机变量与概率分布 287
A.2 随机向量与概率分布 287
A.3 共轭先验分布 288
A.3.1 二项分布与Beta分布 288
A.3.2 多项分布与Dirichlet分布 289
A.3.3 高斯分布与Gamma分布 290
A.4 多维高斯分布 291
A.5 信息和熵 292
附录B 矩阵理论 295
B.1 常用矩阵函数 296
B.2 特征值和特征向量 296
B.3 向量和矩阵范数 297
B.4 矩阵微积分 298
B.5 矩阵奇异值分解 299
附录C 优化理论 300
C.1 无约束优化 301
C.2 等式约束优化 301
C.3 不等式约束优化 302
C.4 优化算法 303
C.4.1 牛顿法 303
C.4.2 梯度下降法 305
C.4.3 加速梯度下降法 306
C.4.4 非光滑优化问题求解 308
C.4.5 带约束优化 309
参考文献 312