[正版新书]Transformer模型开发从0到1——原理深入与项目实践 李瑞涛 清华大学出版社 人工智能,AI,Tra

本书以实战项目为主线，以理论基础为核心，引导读者渐进式地学习Transformer模型。

本书分为5篇共17章。Transformer模型基础篇（第1~5章）重点介绍Transformer模型框架。把Transformer模型掰开，从最基础的输入出发，按照模型框架，一点一点走进Transformer模型的内部，直到最终的模型输出；Transformer模型NLP领域篇（第6章和第7章）重点介绍Transformer模型在自然领域中的应用，了解ChatGPT的往事今生；Transformer模型计算机视觉篇（第8~10章）重点介绍Transformer模型在计算机视觉任务中的应用，让Transformer模型可以看到真实的世界；Transformer模型进阶篇（第11~13章）重点介绍Transformer模型在多模态领域上的应用，以及与其他模型的混合模型；Transformer模型实战篇（第14~17章）从环境搭建到NLP领域，计算机视觉领域，音频领域等的代码实战，彻底讲解Transformer模型的运行机制。

本书的每个章节、每个知识点都有对应的代码解析与精美图片展示，让读者能够更加容易理解Transformer模型的各个核心知识点。

本书既适合初学者入门，精心设计的案例对于工作多年的开发者也有参考价值，并可作为高等院校和培训机构相关专业的教学参考书。 

李瑞涛，副高级工程师，武汉理工大学硕士，长期从事智能硬件与软件产品的研究开发工作。自媒体创作者，期坚持撰写人工智能领域技术博客。在各大媒体平台开设人工智能领域视频课程，受广大网友�9�2致好评。

本书在总结Transformer模型核心框架的基础上，扩展了基于Transformer模型的其他模型框架，更在基础模型上介绍了基于Transformer模型的优化模型：

■易教易学  系统阐述理论的同时，结合图片展示与代码解析，既为初学者提供容易入门的基础理论，也为广大人工智能领域的学生及研究者提供全面的案例。

■前后衔接  强调知识体系和分析方法的前后连贯性，并妥善处理好内容的衔接性。

■技术前沿  介绍Transformer模型基础理论及Transformer模型的优化模型，并介绍其变体模型（GPT、MoE等）在人工智能领域的新进展。激发读者的学习兴趣，启迪创新思想。

本书源码

Transformer模型基础篇

第1章Transformer综述

1.1Transformer是什么

1.1.1Transformer模型的工作原理

1.1.2Transformer模型的编码器与解码器简介

1.1.3Transformer模型编码器层

1.1.4Transformer模型解码器层

1.1.5Transformer模型残差连接与数据归一化

1.2Transformer模型框架

1.2.1Transformer模型的词嵌入

1.2.2Transformer模型的位置编码

1.2.3Transformer模型的编码器与解码器

1.2.4Transformer模型的最终输出

1.2.5Transformer模型的注意力机制

1.2.6Transformer模型的多头注意力机制

1.2.7Transformer模型的前馈神经网络

1.3本章总结

第2章Transformer模型的输入与输出

2.1Transformer模型的词嵌入

2.1.1Transformer 模型词嵌入的概念

2.1.2Transformer模型词嵌入的代码实现

2.2Transformer 模型的位置编码

2.2.1Transformer 模型位置编码的计算过程

2.2.2Transformer模型位置编码的正余弦函数

2.2.3Transformer 模型位置编码的代码实现

2.3Transformer模型解码器的输入

2.4Transformer模型中的掩码矩阵

2.4.1Transformer模型的Pad Mask

2.4.2Transformer模型的 Sequence Mask

2.4.3Transformer 模型Sequence Mask & Pad Mask的代码实现

2.5Transformer模型的输出

2.5.1Transformer 模型的线性层

2.5.2Transformer模型输出数据的Softmax 操作

2.5.3Transformer模型输出数据的Softmax代码实现

2.6本章总结

第3章Transformer模型的注意力机制

3.1Transformer模型注意力机制的概念

3.1.1Transformer模型的自注意力机制

3.1.2Transformer模型注意力机制中两个矩阵乘法的含义

3.1.3Transformer模型的Softmax操作

3.1.4Transformer模型的注意力矩阵

3.2Transformer模型Q、K、V三矩阵

3.2.1Transformer模型Q、K、V三矩阵的来历

3.2.2Transformer模型Q、K、V矩阵注意力机制的运算

3.3Transformer模型注意力机制中的缩放点积

3.3.1Transformer模型注意力机制的问题

3.3.2Transformer模型注意力机制的缩放点积

3.4Transformer模型注意力机制的代码实现过程

3.5Transformer模型多头注意力机制

3.5.1Transformer模型多头注意力机制的计算公式

3.5.2Transformer模型Qi、Ki、Vi的来历

3.5.3Transformer模型多头注意力机制的计算

3.6Transformer 模型多头注意力机制的代码实现

3.6.1Transformer模型多头注意力机制的代码

3.6.2Transformer模型多头注意力矩阵可视化

3.7本章总结

第4章Transformer模型的残差连接，归一化与前馈神经网络

4.1Transformer模型批归一化与层归一化

4.1.1Transformer模型批归一化

4.1.2Transformer 模型层归一化

4.1.3Transformer模型的层归一化操作

4.1.4Transformer模型层归一化的代码实现

4.2残差神经网络

4.2.1ResNet残差神经网络

4.2.2Transformer模型的残差连接

4.3Transformer模型前馈神经网络

4.3.1Transformer模型前馈神经网络的计算公式

4.3.2激活函数

4.3.3Transformer模型ReLU激活函数

4.3.4Transformer模型前馈神经网络的代码实现

4.4本章总结

第5章Transformer模型搭建

5.1Transformer模型编码器

5.1.1Transformer模型编码器组成

5.1.2Transformer模型编码器层的代码实现 

5.1.3搭建Transformer模型编码器

5.2Transformer模型解码器

5.2.1Transformer模型解码器组成

5.2.2Transformer模型解码器层的代码实现 

5.2.3搭建Transformer模型解码器

5.3搭建Transformer模型

5.3.1Transformer模型组成

5.3.2Transformer模型的代码实现

5.4Transformer模型训练过程

5.5Transformer模型预测过程

5.6Transformer模型Force Teach

5.7Transformer 模型与RNN模型

5.7.1RNN循环神经网络

5.7.2Transformer模型与RNN模型对比

5.8本章总结

Transformer模型NLP领域篇

第6章Transformer 编码器模型： BERT模型

6.1BERT模型结构

6.1.1BERT模型简介

6.1.2BERT模型构架

6.2BERT模型的输入部分

6.2.1BERT模型的Token Embedding

6.2.2BERT模型的位置编码

6.2.3BERT模型的序列嵌入

6.2.4BERT模型的输入

6.3BERT模型Transformer编码器框架

6.4BERT模型的输出

6.4.1BERT模型的MLM预训练任务

6.4.2BERT模型的NSP预训练任务

6.5BERT模型的微调任务

6.6BERT模型的代码实现

6.6.1BERT模型的特征嵌入

6.6.2BERT模型的自注意力机制

6.6.3BERT模型的多头注意力机制

6.6.4BERT模型的前馈神经网络

6.6.5BERT模型的编码器层

6.6.6BERT模型搭建

6.7本章总结

第7章Transformer 解码器模型： GPT系列模型

7.1GPT模型结构

7.1.1GPT模型简介

7.1.2GPT模型构架

7.2GPT模型的输入部分

7.2.1GPT模型的Token Embedding

7.2.2GPT模型的位置编码

7.3GPT模型的整体框架

7.4GPT模型的无监督预训练

7.5GPT模型的微调任务

7.5.1GPT模型微调

7.5.2GPT模型监督有标签输入

7.6GPT2模型

7.6.1GPT2模型简介

7.6.2GPT2模型的Zeroshot

7.7GPT3模型

7.7.1GPT3模型框架

7.7.2GPT3模型下游任务微调

7.7.3GPT3模型预训练数据集

7.8本章总结

Transformer模型计算机视觉篇

第8章计算机视觉之卷积神经网络

8.1卷积神经网络的概念

8.1.1卷积神经网络的填充、步长和通道数

8.1.2卷积神经网络的卷积核

8.1.3卷积神经网络卷积层

8.1.4卷积神经网络池化层

8.1.5卷积神经网络全连接层

8.1.6卷积神经网络全局平均池化

8.1.7卷积神经网络的感受野

8.1.8卷积神经网络的下采样

8.1.9神经网络中的DropOut

8.2卷积神经网络

8.2.1卷积神经网络模型搭建

8.2.2卷积神经网络LeNet5模型搭建

8.2.3卷积神经网络LeNet5模型的代码实现

8.3卷积神经网络LeNet5手写数字识别

8.3.1MNIST数据集

8.3.2LeNet5手写数字模型训练

8.3.3LeNet5手写数字模型预测

8.4本章总结

第9章Transformer视觉模型： Vision Transformer模型

9.1Vision Transformer模型

9.1.1Vision Transformer模型简介

9.1.2Vision Transformer模型的数据流

9.2Vision Transformer模型的Patch Embedding与位置编码

9.2.1Vision Transformer模型的Patch Embedding

9.2.2Vision Transformer模型Patch Embedding的代码实现

9.2.3Vision Transformer模型的位置编码

9.2.4Vision Transformer模型位置编码的代码实现

9.3Vision Transformer模型编码器层

9.3.1Vision Transformer与标准Transformer编码器层的区别

9.3.2Vision Transformer模型多头注意力机制的代码实现

9.3.3Vision Transformer模型前馈神经网络的代码实现

9.3.4搭建Vision Transformer模型编码器

9.4Vision Transformer输出层的代码实现

9.5搭建Vision Transformer模型

9.6本章总结

第10章Transformer视觉模型： Swin Transformer模型

10.1Swin Transformer模型

10.1.1Swin Transformer模型简介

10.1.2Swin Transformer模型的数据流

10.1.3Swin Transformer窗口注意力机制的框架模型

10.2Swin Transformer模型窗口分割

10.2.1Swin Transformer模型的Patch Embedding

10.2.2Swin Transformer模型Patch Embedding的代码实现

10.2.3Swin Transformer模型窗口分割与窗口复原的代码实现

10.3Swin Transformer模型Patch Merging

10.3.1Swin Transformer模型的Patch Merging操作

10.3.2Swin Transformer模型Patch Merging的代码实现

10.4Swin Transformer模型的位置编码

10.4.1Swin Transformer模型位置编码的来源

10.4.2Swin Transformer模型位置编码的代码实现

10.5Swin Transformer模型移动窗口与掩码矩阵

10.5.1Swin Transformer模型的移动窗口

10.5.2Swin Transformer模型的掩码矩阵

10.5.3Swin Transformer模型移动窗口的代码实现

10.5.4Swin Transformer模型掩码矩阵的代码实现

10.6Swin Transformer模型窗口注意力与移动窗口注意力

10.6.1Swin Transformer模型窗口注意力机制代码

10.6.2Swin Transformer模型移动窗口注意力机制代码

10.7Swin Transformer模型计算复杂度

10.8本章总结

Transformer模型进阶篇

第11章CNN+Transformer视觉模型：  DETR模型

11.1DETR模型

11.1.1DETR模型框架

11.1.2DETR模型的Transformer框架

11.2DETR模型的代码实现

11.2.1DETR模型搭建

11.2.2基于DETR预训练模型的对象检测

11.3本章总结

第12章Transformer多模态模型

12.1多模态模型简介

12.2Transformer多模态模型： VILT模型

12.2.1VILT模型简介

12.2.2VILT模型的代码实现

12.3Transformer多模态模型： CLIP模型

12.3.1CLIP模型简介

12.3.2CLIP模型的代码实现

12.4本章总结

第13章优化Transformer模型注意力机制

13.1稀疏注意力机制

13.1.1稀疏注意力机制简介

13.1.2稀疏注意力机制的代码实现

13.2Flash Attention

13.2.1标准注意力机制计算过程

13.2.2Flash Attention注意力机制的计算过程

13.2.3Flash Attention注意力机制的代码实现

13.3MoE混合专家模型

13.3.1混合专家模型简介

13.3.2混合专家模型的代码实现

13.4RetNet模型

13.4.1RetNet模型的多尺度保留机制

13.4.2RetNet模型的递归表示

13.4.3RetNet模型的代码实现

13.5本章总结

Transformer模型实战篇

第14章Transformer模型环境搭建

14.1本地Python环境搭建

14.1.1Python环境安装

14.1.2Python安装第三方库

14.2Python云端环境搭建

14.2.1百度飞桨AI Studio云端环境搭建

14.2.2Google Colab云端环境搭建

14.3本章总结

第15章Transformer模型自然语言处理领域实例

15.1基于Transformer模型的机器翻译实例

15.1.1基于Transformer模型的机器翻译模型训练

15.1.2基于Transformer模型的机器翻译模型推理过程

15.2基于Transformer模型的BERT模型应用实例

15.2.1Hugging Face Transformers库

15.2.2基于Transformers库的BERT应用实例

15.2.3训练一个基于BERT模型的文本多分类任务模型

15.3本章总结

第16章Transformer模型计算机视觉领域实例

16.1Vision Transformer模型预训练

16.1.1Vision Transformer模型预训练数据集

16.1.2Vision Transformer模型预训练权重

16.1.3训练Vision Transformer模型

16.1.4使用Vision Transformer预训练模型进行对象分类

16.2Swin Transformer模型实例

16.2.1Swin Transformer预训练模型

16.2.2训练 Swin Transformer模型

16.2.3使用Swin Transformer预训练模型进行对象分类

16.3使用DETR预训练模型进行对象检测

16.4本章总结

第17章Transformer模型音频领域实例

17.1语音识别模型

17.1.1Whisper语音识别模型简介

17.1.2Whisper语音识别模型的代码实现

17.2语音合成模型

17.2.1ChatTTS语音合成模型简介

17.2.2ChatTTS语音合成模型的代码实现

17.3本章总结

参考文献

致谢