深度学习的理论基础与核心算法 焦李成 等 编 专业科技 文轩网

第1章 数学基础 1
1.1 线性代数  1
1.1.1 向量及其运算  1
1.1.2 矩阵及其运算  4
1.1.3 矩阵分解  8
1.2 概率论 12
1.2.1 概率与随机变量 12
1.2.2 期望、方差和协方差  14
1.2.3 常见的概率分布 15
1.2.4 共轭分布  19
1.3 信息论 19
1.3.1 熵的定义  20
1.3.2 互信息  21
1.3.3 交叉熵  21
1.3.4 Kullback-Leibler散度  21
参考文献  22 第2章 深度神经网络的逼近基础理论  23
2.1 函数的很好平方逼近 23
2.1.1 正交多项式的定义与性质  23
2.1.2 常用的正交多项式  24
2.1.3 构造正交多项式的一般方法  27
2.1.4 很好平方逼近的概念及计算  27
2.1.5 用正交多项式做很好平方逼近  29
2.2 曲线拟合的最小二乘法 30
2.2.1 最小二乘法  30
2.2.2 用多项式作最小二乘曲线拟合  32
2.3 三角多项式逼近与快速傅里叶变换 33
2.3.1 很好平方三角逼近与三角插值  33
2.3.2 快速傅里叶变换 35
2.4 多项式的万能逼近性质 37

Ⅳ

2.5 从函数逼近的角度解释神经网络 39
2.6 本章小结 40
参考文献  41
第3章 深度神经网络的函数逼近  42
3.1 基本的 ReLU 网络定义  42
3.2 乘法、多项式、光滑函数的逼近 45
3.2.1 乘法函数的逼近 46
3.2.2 多项式函数的逼近  49
3.2.3 光滑函数的逼近 52
3.3 正余弦函数的逼近 52
3.3.1 余弦函数的逼近 53
3.3.2 正弦函数的逼近 55
3.4 神经网络的万能逼近性质和深度的必要性 55
3.5 本章小结 56
附录  56
参考文献  59
第4章 深度神经网络的复杂函数逼近  60
4.1 神经网络的逼近 60
4.1.1 Kolmogorov-Donoho数据率失真理论 60
4.1.2 字典逼近  61
4.1.3 神经网络的表示 62
4.1.4 神经网络很好 M 项逼近表示  63
4.1.5 字典逼近转换为神经网络逼近  64
4.2 仿射系统的神经网络逼近 65
4.2.1 仿射系统的定义 65
4.2.2 仿射系统对神经网络逼近的影响 66
4.2.3 神经网络对仿射系统逼近证明  67
4.3 振荡纹理 69
4.3.1 振荡纹理的定义 69
4.3.2 振荡纹理的多项式逼近  69
4.3.3 振荡纹理的指数级逼近  72
4.4 Weierstrass函数  75
4.4.1 Weierstrass函数的定义  75
4.4.2 Weierstrass函数的指数级逼近  76
4.5 本章小结 77
参考文献  77
第5章 深度神经网络与多尺度几何逼近系统  78
5.1 小波分析与多尺度几何分析 78
5.1.1 由傅里叶到小波分析理论  78

Ⅴ

5.1.2 Gabor系统的逼近  79
5.2 多尺度几何分析的基础 86
5.2.1 由小波到多尺度几何理论  86
5.2.2 脊波变换  87
5.2.3 曲波变换  88
5.2.4 楔波变换  88
5.2.5 小线变换  89
5.2.6 条带波变换  89
5.2.7 轮廓波变换  90
5.2.8 剪切波变换  91
5.2.9 梳状波变换  91
5.2.10 方向波变换  91
5.3 多尺度几何变换的逼近性质 92
5.4 本章小结 92
参考文献  93
第6章 深度特征网络的构造理论  94
6.1 前馈神经网络构造理论 94
6.1.1 前馈神经网络的结构  94
6.1.2 前馈神经网络的前向传播  95
6.1.3 前馈神经网络的误差反向传播算法  95
6.1.4 前馈神经网络的梯度下降法  97
6.1.5 常见前馈神经网络  98
6.2 卷积神经网络构造理论 98
6.2.1 卷积运算  98
6.2.2 非线性激活层  99
6.2.3 池化  99
6.2.4 常见的距离度量方法  99
6.2.5 常见的激活函数  101
6.2.6 卷积神经网络的生物学启发  103
6.2.7 卷积神经网络的发展  104
6.3 递归神经网络  105
6.3.1 循环神经网络  105
6.3.2 深度循环网络  106
6.3.3 递归神经网络  106
6.4 图卷积网络  107
6.4.1 图的基本定义  107
6.4.2 图信号处理  108
6.4.3 图上的滤波器  109
6.4.4 图卷积网络  110

Ⅵ

6.4.5 图卷积网络的过度平滑问题  111
6.4.6 图小波神经网络  112
6.5 自组织网络构造理论  113
6.5.1 自注意力模型  113
6.5.2 多头自注意力模型  114
6.5.3 Transformer模型 114
6.5.4 稀疏自注意力机制  115
6.5.5 结合卷积的自注意力机制  117
6.5.6 强化自注意力模型  117
6.5.7 结合先验的自注意力机制  118
6.6 本章小结  118
参考文献 118
第7章 学习表征编码器的构造理论 119
7.1 自编码器  119
7.1.1 欠完备自编码器  119
7.1.2 正则自编码器  120
7.1.3 稀疏自编码器  120
7.1.4 去噪自编码器  121
7.1.5 卷积自编码器  121
7.2 线性编码器  121
7.2.1 概率 PCA  122
7.2.2 独立成分分析  122
7.2.3 慢特征分析  122
7.2.4 稀疏编码  123
7.3 生成模型  123
7.3.1 玻耳兹曼机  123
7.3.2 生成随机网络  124
7.3.3 生成对抗网络  125
7.4 变分推断  125
7.5 部分-整体层次结构  126
7.6 因果推理  128
7.6.1 从相关性到因果关系  128
7.6.2 预测和因果推理的区别  129
7.6.3 因果推理的表示方式  129
7.7 本章小结  131
参考文献 131
第8章 多尺度几何深度网络理论 132
8.1 小波神经网络  132
8.2 多小波网  133

Ⅶ

8.3 散射网  134
8.4 深度散射网  135
8.5 深度曲线波散射网  136
8.6 轮廓波卷积神经网络  137
8.7 本章小结  139
参考文献 139
第9章 复数深度学习网络 140
9.1 复数深度神经网络的相关概念  140
9.1.1 复数值的表征  140
9.1.2 复数卷积  140
9.1.3 复数可微性  141
9.1.4 复数激活  141
9.1.5 复数批归一化  141
9.1.6 复数权重初始化  141
9.2 复数卷积神经网络  142
9.2.1 数学计算过程  142
9.2.2 网络结构  142
9.3 复数轮廓波网络  143
9.3.1 原理描述  144
9.3.2 数学计算过程  144
9.3.3 网络参数  145
9.4 半监督复数 GAN  146
9.5 复数 Transformer网络  147
9.6 本章小结  148
参考文献 148
第10章 拟合问题  149
10.1 拟合方法介绍  149
10.1.1 线性回归  149
10.1.2 复杂函数拟合 151
10.1.3 通用逼近定理 153
10.2 拟合数据划分  154
10.2.1 留出法  154
10.2.2 交叉验证法  155
10.2.3 自助法  155
10.3 拟合能力度量  156
10.3.1 错误率和精度 156
10.3.2 精准率和召回率  156
10.3.3 精准率-召回率曲线  157
10.3.4 F1 度量与交并比  158

Ⅷ

10.3.5 受试者工作特征曲线  158
10.3.6 曲线下的面积与平均精度  159
10.3.7 代价敏感错误率与代价曲线  160
10.3.8 欠拟合与过拟合  161
10.4 计算复杂度  162
10.4.1 计算复杂性理论基本问题  163
10.4.2 判定问题类  164
10.5 本章小结  166
参考文献  166
第11章 正则化理论  167
11.1 常用范数特性  167
11.2 正则化理论  168
11.2.1 良态问题  168
11.2.2 Tikhonov正则化定义  168
11.2.3 Tikhonov正则化近似解求解  168
11.2.4 L 曲线准则  169
11.3 正则化方法  170
11.3.1 参数范数惩罚 170
11.3.2 权重衰减  171
11.3.3 噪声注入  171
11.3.4 数据增强  171
11.3.5 多任务学习  172
11.3.6 提前终止  172
11.3.7 Dropout  173
11.3.8 DropConnect  174
11.3.9 SelfNorm 与 CrossNorm  174
11.4 本章小结  175
参考文献  175
第12章 泛化理论  176
12.1 泛化的定义  176
12.2 泛化理论  176
12.2.1 机器学习的泛化理论  177
12.2.2 基于模型复杂度的泛化理论  179
12.2.3 基于信息论的泛化理论  180
12.2.4 基于随机梯度下降算法的泛化理论  181
12.2.5 基于损失曲面几何结构的泛化理论  183
12.2.6 基于傅里叶分析的泛化理论  184
12.2.7 基于未标记数据的泛化理论  187
12.3 泛化方法  188

Ⅸ

12.3.1 数据处理  188
12.3.2 特征表示  188
12.3.3 训练策略  189
12.3.4 学习方法  189
12.4 本章小结  190
参考文献  190
第13章 学习可解释性  191
13.1 深度学习的可解释性基本概念  191
13.1.1 可解释性的概念  191
13.1.2 研究可解释性的必要性  192
13.2 深度学习的可解释性分类方法  193
13.2.1 学习深度过程的可解释性方法  193
13.2.2 学习深度网络表示的可解释性方法  196
13.2.3 学习深度系统自身可解释的生成方法  198
13.2.4 其他类别方法 199
13.3 深度卷积框架的可解释性  200
13.3.1 卷积的 Hankel矩阵表示 200
13.3.2 Hankel矩阵分解和卷积框架  204
13.3.3 深度卷积框架进行多分辨率分析  205
13.4 本章小结  209
参考文献  209
第14章 收敛性理论  210
14.1 收敛问题  210
14.1.1 收敛问题定义 210
14.1.2 收敛与一致收敛之间的差异  210
14.2 单隐藏层神经网络的收敛性  211
14.2.1 基本假设与判定指标  211
14.2.2 基于 SGD 算法的收敛性  212
14.2.3 基于自适应梯度算法的收敛性  214
14.2.4 基于动量自适应算法的收敛性  216
14.3 非线性神经网络的收敛性  222
14.3.1 基本假设与判定指标  222
14.3.2 基于 SGD 算法的收敛性  226
14.3.3 基于自适应梯度算法的收敛性  233
14.4 深度神经网络的收敛性  234
14.4.1 深度线性神经网络的收敛性  234
14.4.2 深度非线性神经网络的收敛性  238
14.5 本章小结  241
参考文献  241

Ⅹ

第15章 学习模型的复杂度  242
15.1 复杂度的基本概念  242
15.2 与动态训练无关  243
15.2.1 VC 维及其扩展  243
15.2.2 表达能力  243
15.3 与动态训练相关  246
15.3.1 Rademacher复杂度  246
15.3.2 表达能力  246
15.3.3 有效复杂度  247
15.4 表达能力与有效复杂度  248
15.5 本章小结  249
参考文献  249
第16章 一阶优化方法  250
16.1 导数和梯度  250
16.2 梯度下降算法  251
16.2.1 批量梯度下降 251
16.2.2 随机梯度下降 251
16.2.3 小批量梯度下降  251
16.3 动量  252
16.4 自适应学习率  254
16.4.1 Adagrad  254
16.4.2 RMSprop  255
16.4.3 Adadelta  255
16.4.4 Adam  256
16.4.5 AmsGrad  257
16.4.6 Adamax  257
16.4.7 Nadam  257
16.4.8 SparseAdam  258
16.5 减少方差的方法  258
16.6 交替方向乘子法  259
16.7 Frank-Wolfe方法  259
16.8 投影梯度下降算法  260
16.9 本章小结  261
参考文献  261
第17章 高阶优化方法  262
17.1 共轭梯度法  262
17.2 牛顿法及其变体  264
17.2.1 牛顿法  264
17.2.2 切割牛顿法  264

Ⅺ

17.2.3 拟牛顿法  265
17.2.4 DFP法  266
17.2.5 BFGS法  266
17.2.6 随机拟牛顿法 267
17.3 不含海森矩阵的很优化方法  268
17.4 自然梯度法  270
17.5 信任区域法  270
17.6 本章小结  271
参考文献  271
第18章 启发式学习优化  272
18.1 启发式算法  272
18.1.1 传统启发式算法  272
18.1.2 元启发式算法 272
18.2 基于 PSO 算法的深度神经网络学习 273
18.2.1 PSO 算法  273
18.2.2 基于 PSO 的深度神经网络算法的学习 274
18.3 基于免疫优化算法的深度神经网络学习  274
18.3.1 免疫优化算法 274
18.3.2 基于免疫优化的 RBF深度神经网络算法的学习  274
18.4 基于量子优化算法的网络学习  276
18.4.1 量子优化算法发展及研究现状  276
18.4.2 基于量子离散多目标粒子群算法的学习  276
18.5 本章小结  279
参考文献  279
第19章 进化深度学习  280
19.1 进化计算与深度学习  280
19.1.1 进化计算  280
19.1.2 基于进化计算的深度学习  281
19.2 收敛性分析  283
19.2.1 基于压缩映射的收敛性分析  283
19.2.2 基于熵方法的收敛性分析  284
19.3 网络结构优化  287
19.3.1 神经网络结构搜索  287
19.3.2 基于单目标进化的神经网络架构搜索  288
19.3.3 基于多目标进化的 NAS  289
19.4 网络权重优化  290
19.4.1 梯度反向传播的局限性  290
19.4.2 基于进化算法的神经网络权重优化  291
19.4.3 基于进化与反向传播结合的权重优化  292

Ⅻ

19.5 学习规则优化  293
19.6 本章小结  295
参考文献  295
第20章 离散优化问题  296
20.1 经典离散优化问题  296
20.2 准确方法求解离散优化问题  297
20.2.1 分支定界算法 297
20.2.2 割平面方法  299
20.3 深度学习求解离散优化问题  301
20.4 启发式算法与超启发式算法  304
20.4.1 启发式算法  304
20.4.2 超启发式算法 304
20.5 本章小结  309
参考文献  309
第21章 非凸优化  310
21.1 非凸优化的基本概念  310
21.1.1 非凸优化的动机  310
21.1.2 非凸优化的示例  310
21.2 非凸优化的算法  311
21.2.1 非凸投影梯度下降法  311
21.2.2 随机优化技术 313
21.3 非凸优化的应用  315
21.3.1 线性回归模型 315
21.3.2 低秩矩阵恢复 316
21.3.3 张量分解  318
21.3.4 深度神经网络 319
21.4 本章小结  319
参考文献  319
第22章 非负矩阵深度学习分解  320
22.1 非负矩阵分解概述  320
22.2 经典非负矩阵分解算法  322
22.2.1 非负矩阵分解 322
22.2.2 稀疏非负矩阵分解  324
22.2.3 正交非负矩阵分解  326
22.2.4 半非负矩阵分解  326
22.3 深层非负矩阵分解  326
22.3.1 基于系数矩阵的深层非负矩阵分解  326
22.3.2 基于基矩阵的深层非负矩阵分解  328
22.3.3 深层非负矩阵分解的优化  329



22.4 深度学习求解非负矩阵分解  330
22.4.1 基于自编码器的非负矩阵分解  330
22.4.2 深度非负矩阵分解网络  331
22.4.3 基于生成对抗网络的非负矩阵分解  332
22.5 本章小结  333
参考文献  333
第23章 稀疏张量深度学习分解  334
23.1 张量表示  334
23.1.1 张量的符号表示  334
23.1.2 张量的图形表示  334
23.1.3 张量展开  334
23.1.4 张量收缩  335
23.2 稀疏张量分解  335
23.2.1 张量 Tucker分解  336
23.2.2 张量 CP分解  336
23.2.3 张量 BTD  336
23.2.4 张量 TTD  336
23.2.5 张量 TRD  337
23.3 张量分解的应用  337
23.3.1 张量分解的神经网络压缩  337
23.3.2 张量分解的数据补全和去噪  339
23.3.3 张量分解的图像融合  340
23.3.4 张量分解的多维信号压缩  341
23.4 张量网络  341
23.4.1 数据编码  343
23.4.2 网络模型  343
23.4.3 优化方法  345
23.5 本章小结  345
参考文献  346
第24章 线性方程组的深度学习求解  347
24.1 线性方程组  347
24.1.1 定义  347
24.1.2 矩阵表示  347
24.1.3 向量表示  348
24.1.4 齐次与非齐次线性方程组  349
24.2 稀疏线性逆问题  349
24.3 线性方程组的深度求解算法  349
24.3.1 LISTA 算法  350
24.3.2 LAMP算法  351



24.3.3 LVAMP算法 353
24.4 本章小结  355
参考文献  355
第25章 微分方程的深度学习求解  356
25.1 微分方程简介  356
25.1.1 常微分方程简介  356
25.1.2 偏微分方程简介  356
25.2 基于常微分方程的网络架构设计  357
25.2.1 基于欧拉法的网络架构设计  357
25.2.2 基于龙格库塔法的网络架构设计  360
25.3 基于常微分方程的优化算法设计  360
25.3.1 梯度下降法  360
25.3.2 Nesterov加速算法  361
25.3.3 ODENet逆模自动微分  362
25.4 偏微分方程的深度求解  363
25.4.1 DeepRitzmethod  364
25.4.2 DeepGalerkin Method  365
25.5 本章小结  366
参考文献  367
第26章 深度学习分类  368
26.1 深度贝叶斯学习  368
26.1.1 朴素贝叶斯  368
26.1.2 贝叶斯深度学习  370
26.2 深度决策树学习  370
26.2.1 决策树  370
26.2.2 深度森林  373
26.3 深度近邻学习  374
26.3.1 近邻法  374
26.3.2 深度 K 近邻算法  375
26.4 深度支持向量机学习  375
26.4.1 支持向量机  375
26.4.2 小波支持向量机  377
26.4.3 最小二乘支持向量机  378
26.4.4 深度支持向量机  379
26.5 深度关联规则学习  379
26.5.1 规则学习  379
26.5.2 深度关联学习 379
26.6 深度集成学习  380
26.6.1 集成学习  380



26.6.2 快速深度集成学习  382
26.7 深度特征学习  382
26.8 深度损失学习  383
26.8.1 交叉熵损失  383
26.8.2 对比和三元组损失  383
26.8.3 大边距损失  384
26.8.4 双正则支持向量机损失  385
26.8.5 FocalLoss  385
26.8.6 骰子损失  386
26.9 本章小结  386
参考文献  387
第27章 深度学习聚类  388
27.1 聚类基础  388
27.1.1 聚类定义  388
27.1.2 聚类过程  388
27.1.3 性能度量  389
27.2 基本聚类算法  390
27.2.1 基于质心的聚类方法  390
27.2.2 基于密度的聚类方法  391
27.2.3 层次聚类  392
27.2.4 基于图论的聚类方法  393
27.2.5 基于模型的聚类方法  394
27.2.6 基于网格的聚类方法  395
27.2.7 其他聚类方法 396
27.3 深度学习聚类  397
27.4 深度聚类网络架构  398
27.4.1 基于自编码器的聚类方法  398
27.4.2 基于深度神经网络的聚类方法  399
27.4.3 基于生成对抗网络的聚类方法  400
27.5 深度聚类损失  400
27.6 深度聚类的簇更新  401
27.7 本章小结  402
参考文献  402
第28章 深度学习回归  403
28.1 回归分析  403
28.2 基于深度学习的线性回归分析  403
28.2.1 线性回归  403
28.2.2 深度学习线性回归  404
28.3 基于深度学习的逻辑回归分析  404



28.3.1 逻辑回归  404
28.3.2 深度学习逻辑回归  404
28.4 基于深度学习的岭回归分析  406
28.4.1 岭回归  406
28.4.2 深度学习岭回归  406
28.5 基于深度学习的 LASSO 回归分析  406
28.5.1 LASSO 回归  406
28.5.2 深度学习 LASSO 回归  406
28.6 本章小结  406
参考文献  406