正版新书]基于深度学习的自然语言处理和语音识别(美)乌黛·卡马

目?录<br />Deep Learning for NLP and Speech Recognition<br /><br />推荐序一<br />推荐序二<br />推荐序三<br />译者序<br />前言<br />致谢<br />符号约定<br /><br />第一部分?机器学习、自然语言处理与语音介绍<br /><br />第1章  引言2<br />1.1?机器学习3<br />1.1.1?监督学习3<br />1.1.2?无监督学习4<br />1.1.3?半监督学习和主动学习4<br />1.1.4?迁移学习和多任务学习4<br />1.1.5?强化学习4<br />1.2?历史背景4<br />1.2.1?深度学习简史5<br />1.2.2?自然语言处理简史7<br />1.2.3?自动语音识别简史10<br />1.3?为实践者提供的工具、库、数据<br />集和资源12<br />1.3.1?深度学习12<br />1.3.2?自然语言处理13<br />1.3.3?语音识别13<br />1.3.4?书籍14<br />1.3.5?在线课程与资源14<br />1.3.6?数据集15<br />1.4?案例研究和实现细节17<br />参考文献18<br />第2章  机器学习基础29<br />2.1?章节简介29<br />2.2?监督学习：框架和正式定义29<br />2.2.1?输入空间和样本29<br />2.2.2?目标函数和标签30<br />2.2.3?训练和预测30<br />2.3?学习过程31<br />2.4?机器学习理论32<br />2.4.1?通过Vapnik-Chervonenkis分析<br />进行“泛化-近似”的权衡32<br />2.4.2?通过偏差-方差分析进行“泛<br />化-近似”的权衡33<br />2.4.3?模型性能和评估指标34<br />2.4.4?模型验证36<br />2.4.5?模型估计和对比38<br />2.4.6?机器学习中的实践经验39<br />2.5?线性算法40<br />2.5.1?线性回归40<br />2.5.2?感知机41<br />2.5.3?正则化42<br />2.5.4?逻辑回归43<br />2.5.5?生成式分类器46<br />2.5.6?线性算法中的实践经验47<br />2.6?非线性算法47<br />2.6.1?支持向量机48<br />2.6.2?其他非线性算法49<br />2.7?特征的转换、选择和降维50<br />2.7.1?特征转换50<br />2.7.2?特征选择和降维50<br />2.8?序列数据和建模51<br />2.8.1?离散时间马尔可夫链51<br />2.8.2判别式方法：隐马尔可夫<br />模型52<br />2.8.3?生成式方法：条件随机场53<br />2.9?案例研究55<br />2.9.1?软件工具和资源库55<br />2.9.2?探索性数据分析56<br />2.9.3?模型训练和超参数搜索56<br />2.9.4?最终训练和测试模型60<br />2.9.5?留给读者的练习60<br />参考文献62<br />第3章  文本和语音处理基础63<br />3.1?章节简介63<br />3.1.1?计算语言学63<br />3.1.2?自然语言63<br />3.1.3?语言模型64<br />3.2?词法分析65<br />3.2.1?词干化65<br />3.2.2?词元化65<br />3.3?词汇表示66<br />3.3.1?标记66<br />3.3.2?停用词66<br />3.3.3?n-gram67<br />3.3.4?文档67<br />3.4?句法表示69<br />3.4.1?词性69<br />3.4.2?依存分析70<br />3.5?语义表示71<br />3.5.1?命名实体识别72<br />3.5.2?关系抽取72<br />3.5.3?事件抽取73<br />3.5.4?语义角色标注73<br />3.6?语篇表示73<br />3.6.1?衔接性73<br />3.6.2?连贯性74<br />3.6.3?回指/预指74<br />3.6.4?局部和全局共指74<br />3.7?语言模型74<br />3.7.1?n-gram模型74<br />3.7.2?拉普拉斯平滑75<br />3.7.3?集外词75<br />3.7.4?困惑度76<br />3.8?文本分类76<br />3.8.1?机器学习方法76<br />3.8.2?情感分析77<br />3.8.3?蕴含79<br />3.9?文本聚类79<br />3.9.1?词汇链79<br />3.9.2?主题建模80<br />3.10?机器翻译80<br />3.10.1?基于字典的翻译80<br />3.10.2?基于统计的翻译81<br />3.11?问答系统81<br />3.11.1?基于信息检索的问答82<br />3.11.2?基于知识的问答82<br />3.11.3?自动推理83<br />3.12?自动摘要83<br />3.12.1?基于提取的自动摘要83<br />3.12.2?基于抽象的自动摘要83<br />3.13?自动语音识别84<br />3.14?案例研究85<br />3.14.1?软件工具和库85<br />3.14.2?探索性数据分析86<br />3.14.3?文本聚类87<br />3.14.4?主题建模90<br />3.14.5?文本分类92<br />3.14.6?留给读者的练习94<br />参考文献94<br /><br />第二部分?深度学习介绍<br /><br />第4章  深度学习基础100<br />4.1?章节简介100<br />4.2?感知机算法详解101<br />4.2.1?偏置101<br />4.2.2?线性和非线性可分103<br />4.3?多层感知机（神经网络）103<br />4.3.1?训练MLP104<br />4.3.2?前向传播104<br />4.3.3?误差计算105<br />4.3.4?反向传播105<br />4.3.5?参数更新106<br />4.3.6?全局逼近定理107<br />4.4?深度学习107<br />4.4.1?激活函数108<br />4.4.2?损失函数112<br />4.4.3?优化方法112<br />4.5?模型训练114<br />4.5.1?提前停止114<br />4.5.2?梯度消失/爆炸115<br />4.5.3?全批量和小批量梯度下降115<br />4.5.4?正则化115<br />4.5.5?超参数选择117<br />4.5.6?数据可用性和质量118<br />4.5.7?讨论119<br />4.6?无监督深度学习120<br />4.6.1?基于能量的模型120<br />4.6.2?受限玻耳兹曼机120<br />4.6.3?深度置信网络121<br />4.6.4?自编码器121<br />4.6.5?稀疏编码124<br />4.6.6?生成对抗网络124<br />4.7?关于框架的思考125<br />4.7.1?层抽象125<br />4.7.2?计算图125<br />4.7.3?反向模式自动微分125<br />4.7.4?静态计算图126<br />4.7.5?动态计算图126<br />4.8?案例研究127<br />4.8.1?软件工具和库127<br />4.8.2?探索性数据分析127<br />4.8.3?监督学习128<br />4.8.4?无监督学习132<br />4.8.5?使用无监督特征进行分类134<br />4.8.6?结果135<br />4.8.7?留给读者的练习136<br />参考文献136<br />第5章  分布式表示139<br />5.1?章节简介139<br />5.2?分布式语义139<br />5.2.1?向量空间模型139<br />5.2.2?词表示140<br />5.2.3?神经语言模型140<br />5.2.4?word2vec142<br />5.2.5?GloVe149<br />5.2.6?谱词向量150<br />5.2.7?多语言词向量150<br />5.3?词向量的局限性151<br />5.3.1?集外词151<br />5.3.2?反义词151<br />5.3.3?多义词152<br />5.3.4?偏见154<br />5.3.5?其他154<br />5.4?进阶内容154<br />5.4.1?子词向量154<br />5.4.2?词向量量化155<br />5.4.3?句子向量156<br />5.4.4?概念向量156<br />5.4.5?语义词典的更新157<br />5.4.6?高斯嵌入158<br />5.4.7?双曲嵌入159<br />5.5?应用160<br />5.5.1?分类160<br />5.5.2?文档聚类161<br />5.5.3?语言模型161<br />5.5.4?文本异常检测162<br />5.5.5?语境化向量162<br />5.6?案例研究163<br />5.6.1?软件工具和库163<br />5.6.2?探索性数据分析163<br />5.6.3?学习词向量165<br />5.6.4?文档聚类173<br />5.6.5?词义消歧174<br />5.6.6?留给读者的练习176<br />参考文献176<br />第6章  卷积神经网络179<br />6.1?章节简介179<br />6.2?卷积神经网络的基本构建模块179<br />6.2.1?线性时不变系统中的卷积和<br />相关性179<br />6.2.2?局部连接或稀疏交互180<br />6.2.3?参数共享181<br />6.2.4?空间排列181<br />6.2.5?使用非线性的检测器183<br />6.2.6?池化和下采样184<br />6.3?卷积神经网络中的前向和反向传播185<br />6.3.1?关于权重的梯度185<br />6.3.2?关于输入的梯度186<br />6.3.3?优选池化层187<br />6.4?文本输入和卷积神经网络187<br />6.4.1?词向量和卷积神经网络187<br />6.4.2?基于字符的表示和卷积神经网络190<br />6.5?经典卷积神经网络架构191<br />6.5.1?LeNet-5191<br />6.5.2?AlexNet192<br />6.5.3?VGG-16193<br />6.6?现代卷积神经网络架构194<br />6.6.1?堆叠或分层卷积神经网络194<br />6.6.2?空洞卷积神经网络194<br />6.6.3?Inception网络195<br />6.6.4?其他卷积神经网络结构197<br />6.7?卷积神经网络在自然语言处理中<br />的应用199<br />6.7.1?文本分类199<br />6.7.2?文本聚类和主题挖掘199<br />6.7.3?语法分析200<br />6.7.4?信息抽取200<br />6.7.5?机器翻译200<br />6.7.6?文本摘要201<br />6.7.7?问答系统201<br />6.8?卷积快速算法201<br />6.8.1?卷积定理和快速傅里叶变换201<br />6.8.2?快速滤波算法202<br />6.9?案例研究203<br />6.9.1?软件工具和库204<br />6.9.2?探索性数据分析204<br />6.9.3?数据预处理和数据拆分205<br />6.9.4?卷积神经网络模型实验206<br />6.9.5?了解和改进模型209<br />6.9.6?留给读者的练习211<br />6.10?讨论211<br />参考文献211<br />第7章  循环神经网络215<br />7.1?章节简介215<br />7.2?循环神经网络的基本构建模块215<br />7.2.1?循环与记忆215<br />7.2.2?PyTorch示例216<br />7.3?循环神经网络及其特性217<br />7.3.1?循环神经网络中的前向和反向<br />传播217<br />7.3.2?梯度消失问题和正则化221<br />7.4?深度循环神经网络架构223<br />7.4.1?深度循环网络223<br />7.4.2?残差LSTM223<br />7.4.3?循环高速网络224<br />7.4.4?双向循环神经网络224<br />7.4.5?SRU和Quasi-RNN224<br />7.4.6?递归神经网络225<br />7.5?循环神经网络的扩展226<br />7.5.1?序列到序列方法226<br />7.5.2?注意力机制227<br />7.5.3?指针网络228<br />7.5.4?transformer网络229<br />7.6?循环神经网络在自然语言处理中<br />的应用229<br />7.6.1?文本分类230<br />7.6.2?词性标注和命名实体识别230<br />7.6.3?依存分析230<br />7.6.4?主题建模和摘要230<br />7.6.5?问答系统231<br />7.6.6?多模态231<br />7.6.7?语言模型231<br />7.6.8?神经机器翻译232<br />7.6.9?预测/采样输出234<br />7.7?案例研究236<br />7.7.1?软件工具和库236<br />7.7.2?探索性数据分析236<br />7.7.3?模型训练241<br />7.7.4?结果243<br />7.7.5?留给读者的练习247<br />7.8?讨论247<br />7.8.1?记忆或泛化247<br />7.8.2?RNN的未来248<br />参考文献248<br />第8章  自动语音识别252<br />8.1?章节简介252<br />8.2?声学特征253<br />8.2.1?语音的形成253<br />8.2.2?语音的原始波形253<br />8.2.3?MFCC253<br />8.2.4?其他类型的特征257<br />8.3?音素257<br />8.4?统计语音识别259<br />8.4.1?声学模型：P(X｜W)260<br />8.4.2?语言模型：P(W)262<br />8.4.3?HMM解码263<br />8.5?错误指标264<br />8.6?DNN/HMM混合模型266<br />8.7?案例研究267<br />8.7.1?数据集：Common Voice267<br />8.7.2?软件工具和库267<br />8.7.3?Sphinx267<br />8.7.4?Kaldi271<br />8.7.5?结果273<br />8.7.6?留给读者的练习275<br />参考文献275<br /><br />第三部分?用于文本与语音的高阶深度学习技术<br /><br />第9章  注意力与记忆增强网络278<br />9.1?章节简介278<br />9.2?注意力机制279<br />9.2.1?对注意力机制的需求279<br />9.2.2?软注意力机制279<br />9.2.3?基于评分的注意力机制281<br />9.2.4?软注意力与硬注意力281<br />9.2.5?局部注意力与全局注意力282<br />9.2.6?自注意力机制282<br />9.2.7?键值注意力机制283<br />9.2.8?多头自注意力机制283<br />9.2.9?分层注意力机制284<br />9.2.10?注意力机制在文本和语音中<br />的应用286<br />9.3?记忆增强网络286<br />9.3.1?记忆网络286<br />9.3.2?端到端记忆网络288<br />9.3.3?神经图灵机290<br />9.3.4?可微神经计算机292<br />9.3.5?动态记忆网络294<br />9.3.6?神经堆栈、队列和双端队列296<br />9.3.7?循环实体网络299<br />9.3.8?记忆增强网络在文本和语音中<br />的应用300<br />9.4?案例研究301<br />9.4.1?基于注意力的NMT301<br />9.4.2?探索性数据分析301<br />9.4.3?问答308<br />9.4.4?动态记忆网络312<br />9.4.5?留给读者的练习316<br />参考文献316<br />第10章  迁移学习：场景、自学习和多任务学习319<br />10.1?章节简介319<br />10.2?迁移学习：定义、场景和类别319<br />10.2.1?迁移学习定义319<br />10.2.2?迁移学习场景320<br />10.2.3?迁移学习类别321<br />10.3?自学习322<br />10.3.1?技术322<br />10.3.2?理论323<br />10.3.3?在NLP中的应用323<br />10.3.4?在语音识别中的应用324<br />10.4?多任务学习324<br />10.4.1?技术324<br />10.4.2?理论330<br />10.4.3?在NLP中的应用331<br />10.4.4?在语音识别中的应用332<br />10.5?案例研究332<br />10.5.1?软件工具和库332<br />10.5.2?探索性数据分析332<br />10.5.3?多任务学习实验与分析333<br />10.5.4?留给读者的练习337<br />参考文献337<br />第11章  迁移学习：领域自适应341<br />11.1?章节简介341<br />11.1.1?技术341<br />11.1.2?理论354<br />11.1.3?在NLP中的应用356<br />11.1.4?在语音识别中的应用356<br />11.2?零样本学习、单样本学习和<br />小样本学习357<br />11.2.1?零样本学习357<br />11.2.2?单样本学习359<br />11.2.3?小样本学习360<br />11.2.4?理论360<br />11.2.5?在NLP和语音识别中的<br />应用360<br />11.3?案例研究361<br />11.3.1?软件工具和库361<br />11.3.2?探索性数据分析362<br />11.3.3?领域自适应实验362<br />11.3.4?留给读者的练习366<br />参考文献366<br />第12章  端到端语音识别371<br />12.1?章节简介371<br />12.2?联结主义时间分类371<br />12.2.1?端到端音位识别373<br />12.2.2?Deep Speech374<br />12.2.3?Deep Speech 2375<br />12.2.4?Wav2Letter375<br />12.2.5?对CTC的扩展376<br />12.3?序列到序列模型377<br />12.3.1?早期的序列到序列自动语音<br />识别378<br />12.3.2?LAS网络378<br />12.4?多任务学习379<br />12.5?端到端解码380<br />12.5.1?ASR语言模型380<br />12.5.2?CTC解码380<br />12.5.3?注意力解码382<br />12.5.4?组合语言模型训练384<br />12.5.5?组合CTC-注意力解码384<br />12.6?语音嵌入和无监督语音识别385<br />12.6.1?语音嵌入385<br />12.6.2?非语音386<br />12.6.3?音频word2vec386<br />12.7?案例研究387<br />12.7.1?软件工具和库387<br />12.7.2?Deep Speech 2387<br />12.7.3?语言模型训练388<br />12.7.4?ESPnet390<br />12.7.5?结果393<br />12.7.6?留给读者的练习394<br />参考文献394<br />第13章  用于文本和语音处理的深度<br />强化学习397<br />13.1?章节简介397<br />13.2?强化学习基础397<br />13.2.1?马尔可夫决策过程397<br />13.2.2?价值函数、Q函数和优势<br />函数398<br />13.2.3?贝尔曼方程399<br />13.2.4?很优化399<br />13.2.5?动态规划方法400<br />13.2.6?蒙特卡罗402<br />13.2.7?时序差分学习403<br />13.2.8?策略梯度405<br />13.2.9?Q学习406<br />13.2.10?演员评论家算法406<br />13.3?深度强化学习算法408<br />13.3.1?强化学习为何可以应用于seq2seq408<br />13.3.2?深度策略梯度408<br />13.3.3?深度Q学习409<br />13.3.4?深度优势演员评论家算法412<br />13.4?用于文本处理的深度强化学习<br />方法413<br />13.4.1?信息提取413<br />13.4.2?文本分类415<br />13.4.3?对话系统416<br />13.4.4?文本摘要417<br />13.4.5?机器翻译418<br />13.5?基于语音的深度强化学习418<br />13.5.1?自动语音识别418<br />13.5.2?语音增强和噪声抑制418<br />13.6?案例研究419<br />13.6.1?软件工具和库419<br />13.6.2?文本摘要419<br />13.6.3?探索性数据分析419<br />13.6.4?留给读者的练习422<br />参考文献422<br />第14章  未来展望425<br />14.1?端到端架构的流行425<br />14.2?以人工智能为中心的趋势425<br />14.3?专用硬件425<br />14.4?从监督学习过渡到其他方式425<br />14.5?可解释的人工智能426<br />14.6?模型开发和部署过程426<br />14.7?人工智能的民主化426<br />14.8?NLP发展趋势426<br />14.9?语音处理发展趋势427<br />14.10?结束语427<br />

随着深度学习、自然语言处理（NLP）和语音处理应用在许多领域（包括金融、医疗和政务等）的广泛应用，越来越需要一种综合资源，将深度学习技术映射到NLP和语音处理，并提供在现实应用程序中使用相关工具和库的指导。本书剖析了适用于NLP和语音处理的前沿深度学习方法，提供了全面的介绍，并在现实案例研究中给出了代码以方便上手实践。