全2册多模态大模型+多模态人工智能人工智能书籍大规模语言模型多模态大模型技术方法开源平台应用场景大模型结构AIGC具身智

多模态大模型：新一代人工智能技术范式
本书以深入浅出的方式介绍多模态大模型的技术方法、开源平台和应用场景，并详细阐

述因果推理、世界模型及多智能体与具身智能等前沿技术领域，有助于读者全面了解多

模态大模型的特点及发展方向，对新一代人工智能技术范式和通用人工智能的发展起到

重要推动作用。全书内容共5章，第1章引领读者深入探索*具代表性的大模型结构，包

括BERT、Chat-GPT 和ChatGLM等，为建立对多模态大模型的全面认知打下基础。

第2章深度剖析多模态大模型的核心技术，如提示学习、上下文学习、思维链和人类反

馈强化学习等，揭示多模态大模型的独特之处和引人入胜的技术内涵。第3章介绍多个

具有代表性的多模态基础模型，如CLIP、LLaMA、SAM和PaLM-E等，为读者呈现多样

和广泛的技术解决方案。第4章深入分析视觉问答、AIGC和具身智能这三个典型应用，

展示多模态大模型在实际场景中的强大能力。第5章探讨实现AGI的可行思路，包括因果

推理、世界模型、**智能体与具身智能等前沿技术方向。本书不仅适合高校相关专业

高年级本科生和研究生作为教材使用，更是各类IT从业者的案头手册。
多模态人工智能：大模型核心原理与关键技术
本书阐述多模态人工智能涉及的关键技术及相关应用，包括多模态特征表示、多模态协

同学习、多模态大模型、多模态理解、多模态检索、多模态生成、多模态交互和多模态

推理。

多模态大模型：新一代人工智能技术范式
1 大模型全家桶 1
1.1 多模态大模型基本概念 3
1.1.1 多模态 4
1.1.2 大模型和基础模型 4
1.1.3 多模态大模型 5
1.2 BERT技术详解 6
1.2.1 模型结构 6
1.2.2 预训练任务 10
1.2.3 下游应用场景 13
1.3 ViT技术详解 14
1.3.1 模型结构 15
1.3.2 预训练任务 17
1.4 GPT系列 19
1.4.1 GPT-1结构详解 20
1.4.2 GPT-2结构详解 23
1.4.3 GPT-3结构详解 24
1.5 ChatGPT简介 28
1.5.1 InstructGPT 28
1.5.2 ChatGPT 32
1.5.3 多模态GPT-4V 37
1.6 中英双语对话机器人ChatGLM 40
1.6.1 ChatGLM-6B模型 41
1.6.2 千亿基座模型GLM-130B的结构 43
1.7 百川大模型 46
1.7.1 预训练 47
1.7.2 对齐 51
1.8 本章小结 53
2 多模态大模型核心技术 54
2.1 预训练基础模型 55
2.1.1 基本结构 56
2.1.2 学习机制 57
2.2 预训练任务概述 59
2.2.1 自然语言处理领域的预训练任务 59
2.2.2 计算机视觉领域的预训练任务 59
2.3 基于自然语言处理的预训练关键技术 60
2.3.1 单词表征方法 61
2.3.2 模型结构设计方法 63
2.3.3 掩码设计方法 63
2.3.4 提升方法 64
2.3.5 指令对齐方法 65
2.4 基于计算机视觉的预训练关键技术 67
2.4.1 特定代理任务的学习 68
2.4.2 帧序列学习 68
2.4.3 生成式学习 69
2.4.4 重建式学习 70
2.4.5 记忆池式学习 71
2.4.6 共享式学习 72
2.4.7 聚类式学习 74
2.5 提示学习 75
2.5.1 提示的定义 76
2.5.2 提示模板工程 78
2.5.3 提示答案工程 81
2.5.4 多提示学习方法 82
2.6 上下文学习 85
2.6.1 上下文学习的定义 86
2.6.2 模型预热 86
2.6.3 演示设计 88
2.6.4 评分函数 90
2.7 微调 91
2.7.1 适配器微调 92
2.7.2 任务导向微调 95
2.8 思维链 98
2.8.1 思维链的技术细节 99
2.8.2 基于自洽性的思维链 100
2.8.3 思维树 103
2.8.4 思维图 106
2.9 RLHF 110
2.9.1 RLHF技术分解 111
2.9.2 RLHF开源工具集 114
2.9.3 RLHF的未来挑战 115
2.10 RLAIF 115
2.10.1 LLM的偏好标签化 116
2.10.2 关键技术路线 118
2.10.3 评测118
2.11 本章小结119
3 多模态基础模型 120
3.1 CLIP 122
3.1.1 创建足够大的数据集 122
3.1.2 选择**的预训练方法 123
3.1.3 选择和扩展模型 124
3.1.4 预训练 124
3.2 BLIP 125
3.2.1 模型结构 125
3.2.2 预训练目标函数 126
3.2.3 标注过滤 127
3.3 BLIP-2 128
3.3.1 模型结构 129
3.3.2 使用冻结的图像编码器进行视觉与语言表示学习 129
3.3.3 使用冻结的LLM进行从视觉到语言的生成学习 130
3.3.4 模型预训练 131
3.4 LLaMA 132
3.4.1 预训练数据 132
3.4.2 网络结构 133
3.4.3 优化器 134
3.4.4 高效实现 134
3.5 LLaMA-Adapter 134
3.5.1 LLaMA-Adapter的技术细节 136
3.5.2 LLaMA-Adapter V2 137
3.6 VideoChat 140
3.6.1 VideoChat-Text 142
3.6.2 VideoChat-Embed 143
3.7 SAM 146
3.7.1 SAM任务 149
3.7.2 SAM的视觉模型结构 150
3.7.3 SAM的数据引擎 151
3.7.4 SAM的数据集 152
3.8 PaLM-E 153
3.8.1 模型结构155
3.8.2 不同传感器模态的输入与场景表示 157
3.8.3 训练策略 158
3.9 本章小结 159
4 多模态大模型的应用 160
4.1 视觉问答 160
4.1.1 视觉问答的类型 161
4.1.2 图像问答 162
4.1.3 视频问答 179
4.1.4 未来研究方向 190
4.2 AIGC 191
4.2.1 GAN和扩散模型 192
4.2.2 文本生成 194
4.2.3 图像生成 198
4.2.4 视频生成 203
4.2.5 三维数据生成 204
4.2.6 HCP-Diffusion统一代码框架 204
4.2.7 挑战与展望 209
4.3 具身智能 209
4.3.1 具身智能的概念 210
4.3.2 具身智能模拟器 212
4.3.3 视觉探索 216
4.3.4 视觉导航 219
4.3.5 具身问答 223
4.3.6 具身交互 225
4.3.7 存在的挑战 228
4.4 本章小结 231
5 多模态大模型迈向AGI 232
5.1 研究挑战 233
5.1.1 缺乏评估准则 233
5.1.2 模型设计准则模糊 233
5.1.3 多模态对齐不佳 234
5.1.4 领域专业化不足 234
5.1.5 幻觉问题 236
5.1.6 鲁棒性威胁 236
5.1.7 可信性问题 238
5.1.8 可解释性和推理能力问题 242
5.2 因果推理 246
5.2.1 因果推理的基本概念 247
5.2.2 因果的类型 251
5.2.3 LLM的因果推理能力 252
5.2.4 LLM和因果发现的关系 254
5.2.5 多模态因果开源框架CausalVLR 255
5.3 世界模型 257
5.3.1 世界模型的概念 258
5.3.2 联合嵌入预测结构 261
5.3.3 Dynalang：利用语言预测未来 264
5.3.4 交互式现实世界模拟器 266
5.3.5 Sora：模拟世界的视频生成模型 267
5.4 **智能体AGI Agent 271
5.4.1 Agent的定义 272
5.4.2 Agent的核心组件 274
5.4.3 典型的AGI Agent模型 275
5.4.4 AGI Agent的未来展望 284
5.5 基于Agent的具身智能 286
5.5.1 具身决策评测集 287
5.5.2 具身知识与世界模型嵌入 288
5.5.3 具身机器人任务规划与控制 289
5.6 本章小结 296
多模态人工智能：大模型核心原理与关键技术
第1 章 绪论 1
1.1 引言 1
1.2 基本术语 3
1.2.1 传感器 3
1.2.2 模态 3
1.2.3 多模态 3
1.2.4 算法模型 6
1.2.5 表征学习 6
1.2.6 语义理解 7
1.2.7 迁移学习 7
1.2.8 内容生成 7
1.2.9 模态融合 8
1.2.10 模态对齐 8
1.2.11 多模态学习 9
1.3 发展历程 9
1.4 应用现状 10
1.5 小结 12
第2 章 基础知识 14
2.1 传统机器学习 14
2.1.1 模型评估与选择 15
2.1.2 线性模型 16
2.1.3 分类 18
2.1.4 回归 19
2.2 深度学习 20
2.2.1 卷积神经网络 20
2.2.2 循环神经网络 22
2.2.3 Transformer 23
2.3 优化算法 25
2.3.1 梯度下降算法 26
2.3.2 反向传播 27
2.4 应用领域 28
2.4.1 计算机视觉 29
2.4.2 自然语言处理30
2.4.3 语音识别 31
2.5 小结 32
第3 章 多模态学习 34
3.1 模态表示 34
3.1.1 文本模态表示 34
3.1.2 视觉模态表示 37
3.1.3 声音模态表示 38
3.1.4 其他模态表示 40
3.1.5 多模态联合表示 43
3.1.6 多模态协同表示 44
3.2 多模态融合 46
3.2.1 数据级融合 46
3.2.2 特征级融合 46
3.2.3 目标级融合 47
3.2.4 混合式融合 49
3.3 跨模态对齐 50
3.3.1 显式对齐：无监督对齐和有监督对齐 50
3.3.2 隐式对齐：注意力对齐和语义对齐51
3.4 多模态协同学习 52
3.4.1 基于平行数据的协同学习 52
3.4.2 基于非平行数据的协同学习 53
3.4.3 基于混合平行数据的协同学习 54
3.5 小结 56
第4 章 多模态训练 57
4.1 有监督训练 57
4.1.1 视觉监督训练 57
4.1.2 文本监督训练 61
4.1.3 多模态监督训练 63
4.2 自监督训练 72
4.2.1 基于对比学习的自监督训练73
4.2.2 基于掩码学习的自监督训练 75
4.3 混合监督训练77
4.3.1 有监督与自监督的混合监督训练 77
4.3.2 半监督混合监督训练78
4.4 小结 80
第5 章 多模态大模型 81
5.1 基础大模型 81
5.1.1 语言大模型 83
5.1.2 视觉大模型 88
5.1.3 语音大模型 93
5.1.4 多模态基础大模型 94
5.2 大语言模型推理方法96
5.2.1 提示学习 96
5.2.2 上下文学习 99
5.2.3 思维链 100
5.3 模型微调103
5.3.1 LoRA 103
5.3.2 人类反馈强化学习 104
5.4 分布式训练 107
5.4.1 DeepSpeed 108
5.4.2 Megatron-LM 111
5.5 小结 114
第6 章 多模态理解 115
6.1 图像描述115
6.1.1 描述方法116
6.1.2 评价指标119
6.2 视频描述 119
6.2.1 视频定位119
6.2.2 视频描述120
6.2.3 视频摘要生成 121
6.2.4 评价指标123
6.3 视觉问答 124
6.3.1 问题定义 124
6.3.2 问答方法 125
6.3.3 评价指标 132
6.4 小结 133
第7 章 多模态检索 134
7.1 数据检索 134
7.1.1 单模态数据与检索 135
7.1.2 多模态数据与检索 138
7.2 跨模态检索 139
7.2.1 检索方法 140
7.2.2 评价指标 144
7.3 交互式检索 146
7.4 小结 149
第8 章 多模态生成 150
8.1 图像生成 150
8.1.1 问题定义 151
8.1.2 生成方法 154
8.1.3 评价指标 162
8.2 视频生成 165
8.2.1 问题定义 166
8.2.2 生成方法 169
8.2.3 评价指标 174
8.3 语音生成 177
8.3.1 问题定义 177
8.3.2 合成方法 179
8.3.3 前端处理 183
8.3.4 后端模型 186
8.3.5 评价标准 190
8.4 小结 191
第9 章 多模态推理 193
9.1 知识图谱推理 193
9.1.1 基于规则学习 194
9.1.2 基于路径排序 197
9.1.3 基于表示学习 198
9.1.4 基于神经网络学习 200
9.2 多模态推理 204
9.2.1 视觉问答 204
9.2.2 视觉常识推理 205
9.2.3 视觉语言导航 208
9.3 小结 209
第10 章 多模态交互 210
10.1 可穿戴交互 210
10.1.1 交互方式 212
10.1.2 相关技术 214
10.1.3 智能穿戴设备 216
10.2 人机对话交互 217
10.2.1 语音识别 217
10.2.2 情感识别 218
10.2.3 语音合成 218
10.2.4 对话系统 219
10.3 声场感知交互 219
10.3.1 动作识别 220
10.3.2 声源定位 220
10.3.3 副语音信息交互增强 220
10.3.4 音频感知与识别 221
10.4 混合现实实物交互 221
10.4.1 静态被动力触觉 222
10.4.2 相遇型被动力触觉 222
10.5 小结 223
第11 章 多模态模型安全与可信 224
11.1 模型的可解释性 224
11.1.1 迁移学习 224
11.1.2 反向传播和显著性图 226
11.1.3 特征反演 227
11.1.4 敏感性分析 227
11.1.5 注意力机制 228
11.1.6 沙普利叠加解释 229
11.2 人工智能伦理规范 . 230
11.2.1 标准认定 230
11.2.2 科技伦理治理 231
11.2.3 行业自律 233
11.3 小结 . 233
第12 章 总结与展望 235
12.1 世界模型 235
12.2 情感计算 236
12.3 类脑智能 238
12.4 博弈智能 240
12.5 小结 241

多模态大模型：新一代人工智能技术范式
刘阳
中山大学计算机学院副研究员，中山大学人机物智能融合实验室（HCP-Lab）骨干成员。主要研究方向为多模态认知理解、因果推理和具身智能。截至2023年12月，在IEEE T-PAMI、T-IP、ICCV、ACM MM等期刊和会议上发表论文30余篇，2篇论文入选ESI高被引和热点论文。提出的视觉-语言因果推理开源框架CausalVLR受到国内外广泛关注。获得2023年**软件大会“达闼杯”机器人大模型与具身智能挑战赛优胜奖，广东省第三届计算机科学青年学术秀一等奖。
林倞
人工智能领域国际**学者（IEEE Fellow、IAPR Fellow、IET Fellow）、鹏城实验室多智能体与具身智能研究所所长、中山大学二级教授、**杰出青年科学基金获得者、**人工智能重大专项首席科学家；在多模态认知计算、生成式模型、具身交互与学习等领域形成一系列突破创新成果。截至2023年10月，发表论文400余篇（含T-PAMI论文40余篇），论文被引用30000余次（谷歌学术统计），5次获得*佳论文奖。获黑龙江省自然科学奖一等奖、吴文俊人工智能奖（自然科学类）、**图象图形学学会科学技术奖一等奖等荣誉；指导学生获得CCF优秀博士论文奖、ACM China优秀博士论文奖及CAAI优秀博士论文奖。带领团队坚持产学研结合的科技创新思路，曾任商汤科技研究院执行院长，孵化新一代人工智能领军企业拓元智慧。在企业数智化、元宇宙、智慧城市等领域形成了具有广泛影响力的商业化产品和项目。
多模态人工智能：大模型核心原理与关键技术
**科学院自动化研究所副总工程师，研究员，博导，紫东太初大模型中心常务副主任，武汉人工智能研究院院长，**科学院大学人工智能学院岗位教授，主要从事视频图像分析、多模态大模型、自监督学习，目标检测与跟踪、细粒度识别，行为识别等方面的应用基础研究，同时也涉及了模式识别与机器学习方面的相关理论研究。