店 机器学习基础 人工智能与大数据系列 人工智能深度学习视觉识别教程 郭涛 刘志红 译 电子工业出版社

本译著提供了基于神经网络的机器学习主题，除过介绍基本的物理和数学原理基础之外，主要从统计物理的基础方法和科学工程应用结合起来，提供了理解现代视觉让读者解决实践中遇到的问题。本书组织结构清楚，分为3部分，*1部分Hopfield Networks，*2部分，监督学习，第3部分，非监督学习。涉及的很多前言主题，例如卷积神经网络，深度学习和强化学习。此外，作者还主要将机器学习的这些理论方法在科学和工程中的应用做了大量工作，让计算机科学家和工程师能够解决工作遇到的实际问题。

*1章 导论 1
1.1 什么是机器学习 1
1.2 机器学习的基本概念 4
1.2.1 分类与回归 4
1.2.2 监督学习与无监督学习 4
1.2.3 简单模型与复杂模型 5
1.2.4 参数模型与非参数模型 8
1.2.5 过拟合与欠拟合 9
1.2.6 偏差-方差权衡 11
1.3 机器学习的一般原则 12
1.3.1 奥卡姆剃刀 12
1.3.2 没有免费午餐定理 13
1.3.3 平滑世界定律 14
1.3.4 维度灾难 16
1.4 机器学习中的*级主题 17
1.4.1 强化学习 17
1.4.2 元学习 17
1.4.3 因果推断 18
1.4.4 其他*级主题 18
练习 18
*2章 数学基础 20
2.1 线性代数 20
2.1.1 向量和矩阵 20
2.1.2 作为矩阵乘法的线性变换 21
2.1.3 基本矩阵运算 23
2.1.4 特征值和特征向量 25
2.1.5 矩阵演算 27
2.2 概率与统计 29
2.2.1 随机变量和分布 29
2.2.2 期望值：均值、方差和矩 31
2.2.3 联合、边际和条件分布 33
2.2.4 常见概率分布 37
2.2.5 随机变量的变换 44
2.3 信息论 45
2.3.1 信息和熵 46
2.3.2 互信息 48
2.3.3 KL散度 51
2.4 数学优化 54
2.4.1 一般形式 55
2.4.2 *优条件 56
2.4.3 数值优化方法 66
练习 71
第3章 监督机器学习（简介） 75
3.1 概述 75
3.2 实例探究 80
第4章 特征提取 84
4.1 特征提取：概念 84
4.1.1 特征工程 84
4.1.2 特征选择 86
4.1.3 降维 86
4.2 线性降维 87
4.2.1 主成分分析 87
4.2.2 线性判别分析 93
4.3 非线性降维（I）：流形学习 96
4.3.1 局部线性嵌入 96
4.3.2 多维缩放 98
4.3.3 随机邻域嵌入 99
4.4 非线性降维（II）：神经网络 100
4.4.1 自编码器 100
4.4.2 瓶颈特征 101
实验室项目一 101
练习 102
判 别 模 型
第5章 统计学习理论 105
5.1 判别模型的制定 105
5.2 可学习性 107
5.3 泛化边界 108
5.3.1 有限模型空间：| | 108
5.3.2 无限模型空间：VC维 110
练习 113
第6章 线性模型 115
6.1 感知机 116
6.2 线性回归 120
6.3 *小分类误差 121
6.4 逻辑回归 123
6.5 支持向量机 125
6.5.1 线性支持向量机 125
6.5.2 软支持向量机 132
6.5.3 非线性支持向量机：核技巧 133
6.5.4 求解二次规划 136
6.5.5 多类支持向量机 138
实验室项目二 139
练习 140
第7章 学习通用判别模型 142
7.1 学习判别模型的通用框架 142
7.1.1 机器学习中的常见损失函数 144
7.1.2 基于 范数的正则化 146
7.2 岭回归与LASSO 148
7.3 矩阵分解 150
7.4 字典学习 155
实验室项目三 158
练习 159
第8章 神经网络 161
8.1 人工神经网络 162
8.1.1 人工神经网络的基本公式 163
8.1.2 数学证明：通用近似 165
8.2 神经网络结构 167
8.2.1 连接层的基本构造块 167
8.2.2 案例分析一：完全连接深度神经网络 176
8.2.3 案例分析二：卷积神经网络 178
8.2.4 案例分析三：递归神经网络 182
8.2.5 案例分析四：transformer 184
8.3 神经网络的学习算法 187
8.3.1 损失函数 187
8.3.2 自动微分法 188
8.3.3 随机梯度下降优化 201
8.4 优化的启发式和技巧 203
8.4.1 其他随机梯度下降变量优化方法：ADAM 204
8.4.2 正则化 207
8.4.3 微调技巧 209
8.5 端到端学习 210
实验室项目四 212
练习 213
第9章 集成学习 215
9.1 整体学习的模拟 215
9.2 袋装法 221
9.3 提升法 222
9.3.1 梯度提升 223
9.3.2 AdaBoost 225
9.3.3 梯度树提升法 228
实验室项目五 230
练习 230
生 成 模 型
*10章 生成模型概述 233
10.1 生成模型的形成 233
10.2 贝叶斯决策理论 235
10.2.1 分类生成模型 235
10.2.2 回归生成模型 240
10.3 统计数据建模 241
10.4 密度估计 244
10.4.1 *大似然估计 244
10.4.2 *大似然分类器 247
10.5 生成模型（概括） 247
练习 249
*11章 单峰模型 251
11.1 高斯模型 252
11.2 多项式模型 256
11.3 马尔可夫链模型 258
11.4 广义线性模型 263
11.4.1 概率回归 264
11.4.2 泊松回归 265
11.4.3 对数线性模型 266
练习 268
*12章 混合模型 270
12.1 构建混合模型 271
12.1.1 指数族（e族） 272
12.1.2 混合模型的形式化定义 274
12.2 期望*大化方法 275
12.2.1 辅助函数：消除对数和 275
12.2.2 期望*大化算法 279
12.3 高斯混合模型 282
12.4 隐马尔可夫模型 286
12.4.1 马尔可夫模型：序列的混合模型 286
12.4.2 评估问题：前向后退算法 292
12.4.3 解码问题：维特比算法 296
12.4.4 训练问题：马尔可夫算法 298
实验项目六 305
练习 306
*13章 纠缠模型 309
13.1 纠缠模型的形成 309
13.1.1 纠缠模型框架 310
13.1.2 一般纠缠模型的学习 312
13.2 线性高斯模型 314
13.2.1 概率PCA 315
13.2.2 因素分析 316
13.3 非高斯模型 318
13.3.1 独立成分分析（ICA） 318
13.3.2 独立因素分析（IFA） 320
13.3.3 混合正交投影与估计（HOPE） 320
13.4 深度生成模型 321
13.4.1 变分自编码器（VAE） 322
13.4.2 生成式对抗网络（GAN） 326
练习 327
*14章 贝叶斯学习 329
14.1 构建贝叶斯学习 329
14.1.1 贝叶斯推理 331
14.1.2 *大化后验估计 332
14.1.3 顺序贝叶斯学习 333
14.2 共轭先验 336
14.3 近似推理 342
14.3.1 拉普拉斯方法 343
14.3.2 变分贝叶斯（VB）方法 345
14.4 高斯过程 351
14.4.1 高斯过程作为非参数先验 351
14.4.2 回归高斯过程 354
14.4.3 分类高斯过程 357
练习 358
*15章 图模型 360
15.1 图模型概念 360
15.2 贝叶斯网络 364
15.2.1 条件独立 364
15.2.2 用贝叶斯网络表示生成模型 371
15.2.3 学习贝叶斯网络 375
15.2.4 推理算法 377
15.2.5 案例研究一：朴素贝叶斯分类器 383
15.2.6 案例研究二：潜在狄利克雷分配 384
15.3 马尔可夫随机场 387
15.3.1 等式：势函数和配分函数 387
15.3.2 案例研究三：条件随机场 390
15.3.3 案例研究四：限制玻尔兹曼机器 392
练习 394
附录A 396
参考文献

Jiang Hui（江辉）是加拿大多伦多约克大学电气工程和计算机科学系教授。自2002年起担任该校教授，长期从事人工智能教学和研究。他的主要研究方向包括机器学习、深度学习，以及其在语音和音频处理、自然语言处理和计算机视觉中的应用。
郭涛，四川省农业科学院遥感应用研究所智慧农业科学技术中心、遥感监测（粮食安全）研究中心工程师，TIT Lab发起人，主要从事机器学习与模式识别、地理人工智能（GeoAI）与时空大数据挖掘与分析、智能机器人技术和软件工程技术等前沿交叉研究。《复杂性思考：复杂性科学与计算模型》和《神经网络实战》等译者。目前发表学术论文12篇，申请软件著作权12项，参与编写教材3本，译著5本。

本书试图为有志于从事机器学习的读者提供一本机器学习基础入门参考书。本书注重机器学习基础，为读者提供机器学习的基础知识，方便读者系统地深入学习机器学习。

本书试图为有志于从事机器学习的读者提供一本机器学习基础入门参考书。本书注重机器学习基础，为读者提供机器学习的基础知识，方便读者系统地深入学习机器学习。

1