大模型**系统:算法原理、代码实战与案例分析 刘强 大模型预训练微调在线学习推理部署 大模型**系统构建教程书

大模型技术掀起了新一轮人工智能浪潮，以ChatGPT 为核心的大模型相关技术可以应用于搜索、对话、内容创作等众多领域，在**系统领域的应用也不例外。

本书主要分为3部分。

第1部分简单介绍大模型相关技术，包括大模型的预训练、微调、在线学习、推理、部署等。

第2部分将大模型在传统**系统中的应用抽象为4种范式——生成范式、预训练范式、微调范式、直接**范式，并对每种范式给出算法原理说明、案例讲解和代码实现。

第3部分以电商场景为例，讲解大模型在电商中的7种应用，包括生成用户兴趣画像、生成个性化商品描述信息、猜你喜欢**、关联**、冷启动问题、**解释和对话式**，每种应用场景都包含完整的步骤说明和详细的代码实现，手把手教你构建大模型**系统。

本书适合有一定**系统基础，期望深入了解和学习大模型技术在**系统中的应用思路和方法的大学生、科研工作者、算法从业者、算法产品及技术管理者阅读。

编辑引荐

• 详解大模型在**系统中应用的4 种范式。
• 4种范式的算法原理、应用案例与代码实现。
• 利用大模型解决电商**场景中的7类问题。
• 提供将大模型**系统更好应用于工业界的思路和方法。
• 读者群中获取本书参考资料，GitHub中下载全书代码。

01 基础知识 1
1.1 大模型相关资源 1
1.1.1 可用的模型及API 1
1.1.2 数据资源 3
1.1.3 软件资源 5
1.1.4 硬件资源 5
1.2 大模型预训练 5
1.2.1 数据收集与预处理 5
1.2.2 确定模型架构 7
1.2.3 确定目标函数及预训练 9
1.2.4 解码策略 10
1.3 大模型微调 13
1.3.1 微调原理 13
1.3.2 指令微调 14
1.3.3 对齐微调 17
1.4 大模型在线学习 21
1.4.1 提示词 21
1.4.2 上下文学习 23
1.4.3 思维链提示词 24
1.4.4 规划 26
1.5 大模型推理 27
1.5.1 高效推理技术 28
1.5.2 高效推理软件工具 29
1.6 总结 30
02 数据准备与开发环境准备 31
2.1 MIND数据集介绍 31
2.2 Amazon电商数据集介绍 34
2.3 开发环境准备 36
2.3.1 搭建CUDA开发环境 37
2.3.2 搭建MacBook 开发环境 40
2.4 总结 42
03 大模型**系统的数据来源、一般思路和4种范式 43
3.1 大模型**系统的数据来源 43
3.1.1 大模型相关的数据 44
3.1.2 新闻**系统相关的数据 44
3.1.3 将**数据编码为大模型可用数据 45
3.2 将大模型用于**的一般思路 46
3.3 将大模型应用于**的4种范式 46
3.3.1 基于大模型的生成范式 47
3.3.2 基于PLM的预训练范式 47
3.3.3 基于大模型的微调范式 48
3.3.4 基于大模型的直接**范式 49
3.4 总结 50
04 生成范式：大模型生成特征、训练数据与物品 51
4.1 大模型生成嵌入特征 51
4.1.1 嵌入的价值 51
4.1.2 嵌入方法介绍 52
4.2 大模型生成文本特征 57
4.2.1 生成文本特征 57
4.2.2 生成文本特征的其他方法 63
4.3 大模型生成训练数据 66
4.3.1 大模型直接生成表格类数据 66
4.3.2 大模型生成监督样本数据 67
4.4 大模型生成待**物品 69
4.4.1 为用户生成个性化新闻 69
4.4.2 生成个性化的视频 74
4.5 总结 77
05 预训练范式：通过大模型预训练进行** 78
5.1 预训练的一般思路和方法 78
5.1.1 预训练数据准备 78
5.1.2 大模型架构选择 79
5.1.3 大模型预训练 81
5.1.4 大模型推理（用于**） 82
5.2 案例讲解 84
5.2.1 基于PTUM架构的预训练**系统 84
5.2.2 基于P5的预训练**系统 86
5.3 基于MIND数据集的代码实战 91
5.3.1 预训练数据集准备 91
5.3.2 模型预训练 98
5.3.3 模型推理与验证 102
5.4 总结 104
06 微调范式：微调大模型进行个性化** 106
6.1 微调的方法 106
6.1.1 微调的价值 106
6.1.2 微调的步骤 107
6.1.3 微调的方法 111
6.1.4 微调的困难与挑战 113
6.2 案例讲解 114
6.2.1 TALLRec微调框架 114
6.2.2 GIRL：基于人类反馈的微调框架 117
6.3 基于MIND数据集实现微调 120
6.3.1 微调数据准备 120
6.3.2 模型微调 122
6.3.3 模型推断 130
6.4 总结 134
07 直接**范式：利用大模型的上下文学习进行** 135
7.1 上下文学习**基本原理 135
7.2 案例讲解 136
7.2.1 LLMRank实现案例 137
7.2.2 多任务实现案例 139
7.2.3 NIR实现案例 141
7.3 上下文学习**代码实现 142
7.3.1 数据准备 142
7.3.2 代码实现 145
7.4 总结 157
08 实战案例：大模型在电商**中的应用 158
8.1 大模型赋能电商**系统 158
8.2 新的交互式**范式 161
8.2.1 交互式智能体的架构 161
8.2.2 淘宝问问简介 162
8.3 大模型生成用户兴趣画像 164
8.3.1 基础原理与步骤介绍 164
8.3.2 数据预处理 165
8.3.3 代码实现 168
8.4 大模型生成个性化商品描述信息 178
8.4.1 基础原理与步骤介绍 178
8.4.2 数据预处理 179
8.4.3 代码实现 184
8.5 大模型应用于电商猜你喜欢** 196
8.5.1 数据预处理 196
8.5.2 模型微调 199
8.5.3 模型效果评估 205
8.6 大模型应用于电商关联** 209
8.6.1 数据预处理 209
8.6.2 多路召回实现 214
8.6.3 相似度排序实现 216
8.6.4 排序模型效果评估 219
8.7 大模型如何解决电商冷启动问题 221
8.7.1 数据准备 221
8.7.2 利用大模型生成冷启动商品的行为样本 226
8.7.3 利用大模型上下文学习能力**冷启动商品 228
8.7.4 模型微调 232
8.7.5 模型效果评估 232
8.8 利用大模型进行**解释，提升**说服力 237
8.8.1 数据准备 237
8.8.2 利用大模型上下文学习能力进行**解释 244
8.8.3 模型微调 248
8.8.4 模型效果评估 256
8.9 利用大模型进行对话式** 257
8.9.1 对话式大模型**系统的架构 257
8.9.2 数据准备 258
8.9.3 代码实现 260
8.9.4 对话式**案例 268
8.10 总结 269
09 工程实践：大模型落地真实业务场景 271
9.1 大模型**系统如何进行高效预训练和推理 271
9.1.1 模型高效训练 272
9.1.2 模型高效推理 273
9.1.3 模型服务部署 274
9.1.4 硬件选择建议 275
9.2 大模型落地企业级**系统的思考 275
9.2.1 如何将**算法嵌入大模型框架 275
9.2.2 大模型特性给落地**系统带来的挑战 276
9.2.3 大模型相关的技术人才匮乏 276
9.2.4 大模型**系统与传统**系统的关系 277
9.2.5 大模型**系统的投资回报率分析 277
9.2.6 大模型落地**场景的建议 277
9.3 总结 278
后记 279

刘强，2009年毕业于**科学技术大学，有15年大数据与AI相关实践经验。出版过**书《**系统：算法、案例与大模型》和《构建企业级**系统：算法、工程实现与案例分析》，参与翻译《AI革命：人工智能如何为商业赋能》《认识AI：人工智能如何赋能商业（原书第2版）》《MongoDB性能调优实战》等书。目前担任杭州数卓信息技术有限公司CEO，公司业务方向为大模型**系统、大模型搜索、大模型知识库等，致力于帮助企业利用大模型技术实现降本、提效与精细化运营；兼任爱搭（AIda）**技术顾问，与爱搭一同推动**系统及大模型技术在行业内落地应用。