[正版]神经网络与深度学习

基本信息

作者简介：

内容提要：

本书涵盖了经典和现代的深度学习模型。章节分为三类: 部分为神经网络的基础。许多传统的机器学习模型可以理解为神经网络的特殊情况。前两章的重点是理解传统机器学习和神经网络之间的关系。支持向量机、线性/逻辑回归、奇异值分解、矩阵分解和 系统都是神经网络的特例。本书将这些方法与特征工程方法如word2vec一起进行了研究。第2部分是神经网络的基本原理。训练和正则化的详细讨论在第3章和第4章提供。第5章和第6章介绍了径向基函数(RBF)网络和受限的玻尔兹曼机。第3部分是神经网络的 主题:第7章和第8章讨论了循环神经网络和卷积神经网络。第9章和 0章介绍了几个 主题，如深度强化学习、神经图像机、Kohonen自组织映射和生成对抗网络。这本书是为研究生、研究人员和实践者编写的。大量的练习和一个解决方案手册，以帮助在课堂教学。在可能的情况下，突出显示以应用程序为中心的视图，以便提供对每一类技术的实际用途的理解。

......

目录：

译者序<br/>前言<br/>致谢<br/>作者简介<br/>第1章神经网络概论111简介1<br/>1.2神经网络的基本架构3<br/>1.2.1单层计算网络：感知机3<br/>1.2.2多层神经网络13<br/>1.2.3多层网络即计算图15<br/>1.3利用反向传播训练神经网络16<br/>1.4神经网络训练中的实际问题19<br/>1.4.1过拟合问题19<br/>1.4.2梯度消失与梯度 问题22<br/>1.4.3收敛问题22<br/>1.4.4局部 和伪 22<br/>1.4.5计算上的挑战23<br/>1.5复合函数的能力之谜23<br/>1.5.1非线性激活函数的重要性25<br/>1.5.2利用深度以减少参数26<br/>1.5.3 规网络架构27<br/>1.6常见网络架构28<br/>1.6.1浅层模型模拟基础机器学习方法28<br/>1.6.2径向基函数网络29<br/>1.6.3受限玻尔兹曼机29<br/>1.6.4循环神经网络30<br/>1.6.5卷积神经网络31<br/>1.6.6层次特征工程与预训练模型32<br/>1.7 主题34<br/>1.7.1强化学习34<br/>1.7.2分离数据存储和计算34<br/>1.7.3生成对抗网络35<br/>1.8两个基准35<br/>1.8.1MNIST手写数字数据库35<br/>1.8.2ImageNet数据库36<br/>1.9总结37<br/>1.10参考资料说明37<br/>1.101视频讲座38<br/>1.102软件资源39<br/>1.11练习39<br/>第2章基于浅层神经网络的机器学习41<br/>2.1简介41<br/>2.2二分类模型的神经架构42<br/>2.2.1复习感知机42<br/>2.2.2 小二乘回归44<br/>2.2.3逻辑回归47<br/>2.2.4支持向量机49<br/>2.3多分类模型的神经架构50<br/>2.3.1多分类感知机51<br/>2.3.2WestonWatkins支持向量机52<br/>2.3.3多重逻辑回归（softmax分类器）53<br/>2.3.4应用于多分类的分层softmax54<br/>2.4反向传播可以用于特征选择和神经网络的可解释性54<br/>2.5使用自编码器进行矩阵分解55<br/>2.5.1自编码器的基本原则55<br/>2.5.2非线性激活函数59<br/>2.5.3深度自编码器60<br/>2.5.4应用于离群点检测62<br/>2.5.5当隐藏层比输入层维数高时63<br/>2.5.6其他应用63<br/>2.5.7 系统：行索引到行值的预测65<br/>2.5.8讨论67<br/>2.6word2vec：简单神经架构的应用67<br/>2.6.1连续词袋的神经嵌入68<br/>2.6.2skipgram模型的神经嵌入70<br/>2.6.3word2vec（SGNS）是逻辑矩阵分解74<br/>2.6.4原始skipgram模型是多项式矩阵分解76<br/>2.7图嵌入的简单神经架构76<br/>2.7.1处理任意数量的边78<br/>2.7.2多项式模型78<br/>2.7.3与DeepWalk和node2vec的联系78<br/>2.8总结78<br/>2.9参考资料说明79<br/>2.10练习80<br/>第3章深度神经网络的训练823.1简介82<br/>3.2反向传播的详细讨论83<br/>3.2.1计算图抽象中的反向传播83<br/>3.2.2前来拯救的动态规划87<br/>3.2.3使用激活后变量的反向传播88<br/>3.2.4使用激活前变量的反向传播89<br/>3.2.5不同激活函数的 新示例91<br/>3.2.6以向量为中心的反向传播的解耦视图92<br/>3.2.7多输出节点及隐藏节点下的损失函数94<br/>3.2.8小批量随机梯度下降95<br/>3.2.9用于解决共享权重的反向传播技巧96<br/>3.2.10检查梯度计算的正确性97<br/>3.3设置和初始化问题98<br/>3.3.1调整超参数98<br/>3.3.2特征预处理99<br/>3.3.3初始化100<br/>3.4梯度消失和梯度 问题101<br/>3.4.1对梯度比例影响的几何理解102<br/>3.4.2部分解决：激活函数的选择103<br/>3.4.3死亡神经元和“脑损伤”104<br/>3.5梯度下降策略105<br/>3.5.1学习率衰减105<br/>3.5.2基于动量的学习106<br/>3.5.3参数特异的学习率108<br/>3.5.4悬崖和高阶不稳定性111<br/>3.5.5梯度截断112<br/>3.5.6二阶导数112<br/>3.5.7Polyak平均118<br/>3.5.8局部极小值和伪极小值119<br/>3.6批归一化120<br/>3.7加速与压缩的实用技巧123<br/>3.7.1GPU加速123<br/>3.7.2并行和分布式实现125<br/>3.7.3模型压缩的算法技巧126<br/>3.8总结128<br/>3.9参考资料说明128<br/>3.10练习130<br/>第4章让深度学习器学会泛化132<br/>4.1简介132<br/>4.2偏差方差权衡135<br/>4.3模型调优和评估中的泛化问题138<br/>4.3.1用留出法和交叉验证法进行评估139<br/>4.3.2大规模训练中的问题140<br/>4.3.3如何检测需要收集 多的数据141<br/>4.4基于惩罚的正则化141<br/>4.4.1与注入噪声的联系142<br/>4.4.2L1正则化143<br/>4.4.3选择L1正则化还是L2正则化143<br/>4.4.4对隐藏单元进行惩罚：学习稀疏表示144<br/>4.5集成方法145<br/>4.5.1装袋和下采样145<br/>4.5.2参数模型选择和平均146<br/>4.5.3随机连接删除146<br/>4.5.4Dropout147<br/>4.5.5数据扰动集成149<br/>4.6早停149<br/>4.7无监督预训练150<br/>4.7.1无监督预训练的变体153<br/>4.7.2如何进行监督预训练154<br/>4.8继续学习与课程学习154<br/>4.8.1继续学习155<br/>4.8.2课程学习156<br/>4.9共享参数156<br/>4.10无监督应用中的正则化157<br/>4.101基于值的惩罚：稀疏自编码器157<br/>4.102噪声注入：去噪自编码器157<br/>4.103基于梯度的惩罚：收缩自编码器158<br/>4.104隐藏层概率结构：变分自编码器161<br/>4.11总结166<br/>4.12参考资料说明166<br/>4.13练习168<br/>第5章径向基函数网络169<br/>5.1简介169<br/>5.2RBF网络的训练171<br/>5.2.1训练隐藏层171<br/>5.2.2训练输出层172<br/>5.2.3正交 小二乘算法173<br/>5.2.4 监督学习174<br/>5.3RBF网络的变体和特例175<br/>5.3.1感知机准则分类175<br/>5.3.2铰链损失分类175<br/>5.3.3RBF促进线性可分离性的示例176<br/>5.3.4应用于插值177<br/>5.4与核方法的关系177<br/>5.4.1RBF网络的特例：核回归177<br/>5.4.2RBF网络的特例：核SVM178<br/>5.4.3观察179<br/>5.5总结179<br/>5.6参考资料说明179<br/>5.7练习180<br/>第6章受限玻尔兹曼机181<br/>6.1简介181<br/>6.2Hopfield 网络 182<br/>6.2.1训练网络的 状态配置183<br/>6.2.2训练Hopfield网络184<br/>6.2.3 器的构建及其局限性185<br/>6.2.4提高Hopfield网络的表达能力186<br/>6.3玻尔兹曼机187<br/>6.3.1玻尔兹曼机如何生成数据188<br/>6.3.2学习玻尔兹曼机的权重188<br/>6.4RBM的原理189<br/>6.4.1训练RBM191<br/>6.4.2对比发散算法192<br/>6.4.3实际问题和即兴性193<br/>6.5RBM的应用193<br/>6.5.1降维和数据重构194<br/>6.5.2使用RBM进行协同过滤196<br/>6.5.3使用RBM进行分类198<br/>6.5.4使用RBM建立主题模型201<br/>6.5.5使用RBM进行多模态数据的机器学习202<br/>6.6在二元数据类型之外使用RBM203<br/>6.7堆叠式RBM204<br/>6.7.1无监督学习206<br/>6.7.2监督学习206<br/>6.7.3深度玻尔兹曼机和深度信念网络206<br/>6.8总结207<br/>6.9参考资料说明207<br/>6.10练习208<br/>第7章循环神经网络210<br/>7.1简介210<br/>7.2循环神经网络的架构212<br/>7.2.1RNN语言建模实例214<br/>7.2.2时间反向传播216<br/>7.2.3双向循环神经网络218<br/>7.2.4多层循环神经网络220<br/>7.3训练循环神经网络的挑战221<br/>7.4回声状态网络224<br/>7.5长短期记忆网络226<br/>7.6门控循环单元228<br/>7.7循环神经网络的应用229<br/>7.7.1应用于自动图像描述230<br/>7.7.2序列到序列的学习和机器翻译231<br/>7.7.3应用于句子级别分类234<br/>7.7.4利用语言特征进行词级别分类235<br/>7.7.5时间序列预测236<br/>7.7.6时序 系统237<br/>7.7.7蛋白质二级结构预测239<br/>7.7.8端到端语音识别239<br/>7.7.9手写识别239<br/>7.8总结240<br/>7.9参考资料说明240<br/>7.10练习241<br/>第8章卷积神经网络243<br/>8.1简介243<br/>8.1.1历史观点和生物启发243<br/>8.1.2卷积神经网络的广义发现244<br/>8.2卷积神经网络的基本结构245<br/>8.2.1填充248<br/>8.2.2步长249<br/>8.2.3典型设置250<br/>8.2.4ReLU层250<br/>8.2.5池化251<br/>8.2.6全连接层252<br/>8.2.7层与层之间的交织253<br/>8.2.8局部响应归一化254<br/>8.2.9层次特征工程255<br/>8.3训练一个卷积网络256<br/>8.3.1通过卷积反向传播256<br/>8.3.2通过反转/转置滤波器的卷积进行反向传播257<br/>8.3.3通过矩阵乘法进行卷积/反向传播258<br/>8.3.4数据增强259<br/>8.4卷积架构的案例研究260<br/>8.4.1AlexNet260<br/>8.4.2ZFNet262<br/>8.4.3VGG263<br/>8.4.4GoogLeNet266<br/>8.4.5ResNet267<br/>8.4.6深度的影响270<br/>8.4.7预训练模型270<br/>8.5可视化与无监督学习271<br/>8.5.1可视化训练网络的特征272<br/>8.5.2卷积自编码器276<br/>8.6卷积网络的应用280<br/>8.6.1基于内容的图像检索280<br/>8.6.2对象定位280<br/>8.6.3对象检测281<br/>8.6.4自然语言和序列学习282<br/>8.6.5视频分类283<br/>8.7总结283<br/>8.8参考资料说明283<br/>8.9练习286<br/>第9章深度强化学习287<br/>9.1简介287<br/>9.2无状态算法：多臂老虎机288<br/>9.2.1朴素算法289<br/>9.2.2ε贪婪算法289<br/>9.2.3上界方法289<br/>9.3强化学习的基本框架290<br/>9.3.1强化学习中的挑战291<br/>9.3.2用于井字棋的简单强化学习292<br/>9.3.3深度学习的作用和稻草人算法292<br/>9.4用于学习价值函数的自举算法294<br/>9.4.1深度学习模型：函数逼近器295<br/>9.4.2实例：用于Atari设置的神经网络297<br/>9.4.3同步策略与异步策略方法：SARSA298<br/>9.4.4模型状态与状态动作对299<br/>9.5策略梯度方法301<br/>9.5.1有限差分方法302<br/>9.5.2似然比方法302<br/>9.5.3策略梯度与监督学习的结合304<br/>9.5.4行动者评价者方法304<br/>9.5.5连续动作空间305<br/>9.5.6策略梯度的优缺点306<br/>9.6蒙特卡洛树搜索306<br/>9.7案例研究308<br/>9.7.1AlphaGo： 级别的围棋选手308<br/>9.7.2自主学习机器人311<br/>9.7.3建立会话系统：面向聊天机器人的深度学习314<br/>9.7.4自动驾驶汽车316<br/>9.7.5利用强化学习推断神经架构317<br/>9.8与安全相关的实际挑战318<br/>9.9总结319<br/>9.10参考资料说明319<br/>9.11练习321<br/> 0章深度学习的前沿主题322<br/>10.1简介322<br/>10.2注意力机制323<br/>10.2.1视觉注意力循环模型324<br/>10.2.2注意力机制用于机器翻译327<br/>10.3具有外部存储的神经网络329<br/>10.3.1一个假想的视频游戏：基于样本的排序330<br/>10.3.2神经图灵机331<br/>10.3.3可微神经计算机：简要概述336<br/>10.4生成对抗网络337<br/>10.4.1训练生成对抗网络338<br/>10.4.2与变分自编码器比较340<br/>10.4.3用GAN生成图像数据340<br/>10.4.4条件生成对抗网络342<br/>10.5竞争学习345<br/>10.5.1矢量量化346<br/>10.5.2Kohonen自组织映射346<br/>10.6神经网络的局限性349<br/>10.6.1一个理想的目标：单样本学习349<br/>10.6.2一个理想的目标：节能学习350<br/>10.7总结351<br/>10.8参考资料说明352<br/>10.9练习353<br/>参考文献354<br/>术语表388

......

精 彩 页：