正版新书]深度学习在自然语言处理中的应用 从词表征到CHATGPT张

前言 iii
第 1章 绪论 1
1.1 机器学习简介 1
1.1.1 机器学习的发展历程 1
1.1.2 机器学习的算法分类 4
1.2 深度学习简介 5
1.3 自然语言处理简介 7
1.3.1 自然语言处理的发展历程 7
1.3.2 自然语言处理的研究方向 8
1.3.3 自然语言理解的主要任务 8
1.3.4 自然语言生成的任务 14
1.3.5 自然语言处理面临的挑战 15
1.4 自然语言处理与机器学习和深度学习 16
第 2章 深度学习基础 17
2.1 前馈神经网络 17
2.2 卷积神经网络 20
2.3 循环神经网络 24
2.4 长短期记忆网络 26
2.5 记忆网络和神经图灵机 28
2.6 图神经网络 30
2.7 深度生成模型 33
2.7.1 自编码器和变分自编码器 34
2.7.2 生成对抗网络 39
2.8 Transformer 39
2.8.1 Transformer的编码模块 41
2.8.2 Transformer的解码模块 42
第3章 词表征 44
3.1 语言模型 45
3.2 基于矩阵的词分布表征模型 46
3.2.1 潜在语义分析 46
3.2.2 GloVe 47
3.3 基于聚类的词分布表征模型 48
3.4 基于神经网络的词分布表征模型 49
3.4.1 NNLM 50
3.4.2 RNNLM 52
3.4.3 Collobert-Weston模型 53
3.4.4 Word2Vec 54
3.4.5 ELMo 58
3.4.6 ULMFit 60
3.4.7 GPT 61
3.4.8 BERT 62
3.4.9 T5 64
3.5 跨语言的词嵌入模型 64
3.5.1 基于词对齐 65
3.5.2 基于预训练的方法 66
3.6 其他表征 67
第4章 注意力机制 69
4.1 注意力机制的由来 69
4.2 注意力机制的扩展 72
4.2.1 全局注意力和局部注意力 72
4.2.2 自注意力 75
4.3 NTM和MemNN的注意力机制 77
4.3.1 NTM的注意力机制 78
4.3.2 MemN2N的注意力机制 79
4.4 指针网络的注意力机制 81
第5章 迁移学习 83
5.1 迁移学习的定义和分类 83
5.2 领域自适应 86
5.2.1 基于样本的迁移学习 86
5.2.2 基于特征映射的迁移学习 88
5.2.3 基于对抗的深度迁移学习 91
5.3 多任务学习 91
5.4 序列迁移学习 94
5.4.1 预训练语言模型 95
5.4.2 微调 95
5.5 跨语言的迁移学习 97
第6章 强化学习 98
6.1 强化学习的定义 99
6.1.1 马尔可夫决策过程 99
6.1.2 强化学习的模型 100
6.1.3 智能体的策略 101
6.1.4 价值函数 101
6.2 贝尔曼方程 103
6.3 强化学习的分类 104
6.3.1 有模型学习 105
6.3.2 免模型学习 107
6.3.3 基于值函数和基于策略函数的学习 112
6.4 深度强化学习 115
6.5 深度强化学习在NLP中的应用 116
第7章 机器翻译 117
7.1 机器翻译的发展历程 117
7.2 神经机器翻译 118
7.3 基于RNN的Seq2Seq模型 120
7.4 基于CNN的Seq2Seq模型 124
7.5 神经机器翻译的策略 126
7.5.1 解码策略 126
7.5.2 估计softmax函数计算 127
7.5.3 缩小词典 127
7.5.4 处理生僻词和未知词 128
7.6 机器翻译的评价方法 129
7.6.1 人工评价 130
7.6.2 下游系统评价 130
7.6.3 BLEU 130
第8章 文本摘要 132
8.1 抽取式摘要 132
8.1.1 传统机器学习方法 133
8.1.2 深度学习方法 135
8.2 生成式摘要 136
8.2.1 传统机器学习方法 137
8.2.2 深度学习方法 137
8.3 文本摘要的评价 139
第9章 自动问答 140
9.1 基于检索的自动问答 140
9.1.1 文本检索模块 141
9.1.2 文本理解模块 143
9.2 基于知识库的自动问答 146
9.3 基于社区的自动问答 148
9.3.1 优选 148
9.3.2 相似问题检索 149
9.3.3 答案质量评估 149
9.4 深度自动问答系统 150
9.4.1 抽取式机器阅读理解 150
9.4.2 生成式机器阅读理解 151
9.5 自动问答系统的评价 151
第 10章 对话系统 153
10.1 面向任务的对话系统 154
10.1.1 自然语言理解 155
10.1.2 对话管理 155
10.1.3 自然语言生成 157
10.2 开放域对话系统 158
10.2.1 检索式方法 159
10.2.2 生成式方法 159
10.2.3 混合方法 160
10.2.4 开放域对话系统的关键问题 160
10.3 对话系统的评测 162
第 11章 情感分析 164
11.1 情感分析的分类 165
11.1.1 文档级情感分析 166
11.1.2 句子级情感分析 167
11.1.3 方面级情感分析 168
11.1.4 监督学习和基于词典的方法比较 169
11.2 方面和实体提取 170
11.2.1 挖掘频繁出现的名词短语 170
11.2.2 利用情感词与目标词之间的语法关系 170
11.2.3 应用监督学习模型 171
11.2.4 使用主题模型 171
11.3 情感词典 172
11.3.1 基于词典的方法 172
11.3.2 基于语料库的方法 172
11.4 多模态情感分析 173
第 12章 ChatGPT 174
12.1 大型语言模型 174
12.1.1 语言模型的演化 175
12.1.2 大型语言模型的很优训练 176
12.1.3 语境学习 176
12.1.4 提示工程 177
12.2 基于人工反馈的强化学习方法 179
12.3 生成ChatGPT 180
12.3.1 步骤1：微调GPT-3.5 180
12.3.2 步骤2：训练奖励模型 180
12.3.3 步骤3：利用强化学习微调ChatGPT 181
12.4 ChatGPT的发展 181
参考文献 183

张镭
目前在Meta公司从事机器学习算法研发。美国伊利诺伊大学芝加哥分校计算机科学博士，主要研究领域为自然语言处理、机器学习和数据挖掘。在国内外学术期刊和会议上已发表20多篇学术文章，获得多项美国专利，合著有Mining Text Data等4本关于文本数据挖掘和大数据计算的图书，并长期受邀担任自然语言处理国际期刊评委和国际会议程序委员会委员。

以预训练语言模型为代表的深度学习技术是当下自然语言处理的核心技术。该书从自然语言处理和深度学习基础开始，详细介绍了GloVe、Word2Vec、BERT、GPT等词表征技术，同时涉及注意力机制、迁移学习、强化学习等基础方法，最后介绍了机器翻译、文本摘要、自动问答、对话系统、情感分析等任务相关的深度学习方法以及ChatGPT的核心技术。全书深入浅出、讲述清晰。通过本书读者能够快速、全面地了解该领域的基础技术和前沿方法，特此推荐！
——刘康，中国科学院自动化研究所模式识别国家重点实验室研究员、博士生导师

本书对深度学习在自然语言处理中的应用进行了系统、深入的介绍，前半部分涵盖了词表征、注意力机制、迁移学习等深度学习重要技术，后半部分讲解了机器翻译、自动问答、情感分析等自然语言处理的主要应用，对该领域的前沿进展进行了全面总结，内容翔实、通俗易懂，是一本的入门自然语言处理的参考书。
——刘洋，清华大学万国数据教授

OpenAI的对话式产品ChatGPT的推出再次点燃了工业界、学术界对AI、LLM的热情，而LLM正是由2017年应用于机器翻译等NLP问题的Transformer衍生而来。在现在这个时间点，张镭博士通过本书系统地介绍了深度学习技术在NLP各领域的应用，同时完整地介绍了从词表征到GPT的发展历程以及迁移学习、强化学习等基础算法原理，可以帮助NLP研究者快速入门，并与近期新趋势无缝链接。
——仇光，阿里巴巴资深算法专家、技术总监

1. Meta资深工程师、数据科学家、机器学习算法研发专业人员执笔，传递值得借鉴学习的经验和见解。
2. 从研究员和实践者的双重角度出发，系统介绍深度学习技术原理及其在自然语言处理中的应用。
3. 汇集该领域的重要思想和研究成果，清晰梳理自然语言处理技术发展脉络，帮助读者更好地了解该领域的发展历程和趋势。
4. 内容新颖全面，聚焦前沿，讲解深入浅出、通俗易懂，适合入门自然语言处理，是一本不容错过的优质参考书。