店 具身智能机器人系统 具身智能机器人和传统机器人计算之间的关系讲解书籍 传统的机器人计算栈介绍书 电子工业出版社

大模型技术的突飞猛进，给机器人技术注入了新的活力。具身智能机器人这个概念，尽管已经存在了超过三十年，但现在又重新引起了学术界和工业界的大量关注。从作者们长期在机器人计算方面的研究基础出发，本书希望帮助读者理解具身智能机器人和传统机器人计算之间的关系，判断未来具身智能机器人的发展方向。本书既包括了传统的机器人计算栈，又囊括了具身智能大模型给机器人计算带来的变化和可能的挑战。本书在写作过程中，强调了面向读者的普适性。具有一定工程数学、计算机科学的基础知识的读者，均可以阅读并理解本书的内容。

*1 部分具身智能机器人背景知识
*1 章自主经济的崛起：具身智能机器人的影响与发展 2
1.1 产业发展概况 3
1.1.1 国际产业发展现状 3
1.1.2 国内产业发展现状 6
1.2 问题与挑战 6
1.2.1 应用场景的不确定性 7
1.2.2 产业链成本高企 7
1.2.3 系统集成难度较大 7
1.2.4 数据瓶颈 8
1.2.5 伦理规范 8
1.3 小结 9
*2 章具身智能机器人的历史与未来 10
2.1 何谓具身智能 10
2.2 具身智能发展历史 11
2.3 具身智能的传统技术方向 12
2.3.1 基于行为的人工智能 12
2.3.2 受神经生物学启发的人工智能 13
2.3.3 认知发展机器人学 13
2.3.4 进化机器人学 14
2.3.5 物理体现与互动 15
2.4 基于大模型的具身智能技术 16
2.4.1 赋能具身智能机器人的基础大模型分类 17
2.4.2 具身智能机器人设计自动化 17
2.5 小结 19
*2 部分具身智能机器人基础模块
第3 章机器人计算系统 21
3.1 概述 21
3.2 自主机器人计算系统 22
3.3 自动驾驶 25
3.3.1 自动驾驶简史 25
3.3.2 自动驾驶计算系统 26
3.4 具身智能机器人 32
3.4.1 从自动驾驶到具身智能 33
3.4.2 具身智能计算系统 34
3.5 小结 36
第4 章自主机器人的感知系统 38
4.1 概述 38
4.2 物体检测 38
4.3 语义分割 41
4.4 立体视觉与光流 43
4.4.1 立体视觉与深度估计 44
4.4.2 光流 45
4.5 鸟瞰视角感知 49
4.5.1 基于激光雷达的BEV 感知 49
4.5.2 基于相机的BEV 感知 51
4.5.3 基于融合的BEV 感知 55
4.6 小结 57
第5 章自主机器人的定位系统 58
5.1 概述 58
5.2 自主机器人的定位任务 59
5.3 自主机器人的定位原理 61
5.3.1 自主机器人定位系统分类 61
5.3.2 自主机器人定位算法原理 63
5.4 自主机器人定位的计算系统 69
5.4.1 多传感器数据对齐 69
5.4.2 自主机器人定位的计算平台 71
5.5 小结 72
第6 章自主机器人的规划与控制系统 73
6.1 概述 73
6.2 路径规划和轨迹规划 74
6.2.1 路径规划 74
6.2.2 轨迹规划 76
6.2.3 变分方法 77
6.2.4 图搜索方法 79
6.2.5 增量搜索策略 80
6.3 基于强化学习的规划与控制 83
6.3.1 强化学习基本原理 83
6.3.2 基于强化学习的规划与控制方法 85
6.4 小结 88
第3 部分具身智能机器人大模型
第7 章具身智能机器人大模型 91
7.1 概述 91
7.2 ChatGPT for Robotics: 故事的开始 92
7.2.1 背景与工作动机 92
7.2.2 ChatGPT 解决机器人控制问题的突出能力 92
7.2.3 ChatGPT for Robotics 的设计原则和工作流程 94
7.2.4 贡献与局限性 95
7.3 Robotic Transformers：多模态大模型的应用 96
7.4 未来工作发展方向 98
7.4.1 小模型的成功 99
7.4.2 更多的模态 101
7.5 小结 102
第8 章大模型用于机器人计算，颠覆还是进步 103
8.1 概述 103
8.2 从算法*发者角度看具身智能大模型 103
8.2.1 具身智能机器人在医疗领域的应用 103
8.2.2 具身智能机器人在工业生产中的应用 106
8.2.3 具身智能机器人在家庭环境中的应用 107
8.3 给机器人接上大脑？从机器人系统开发看具身智能大模型 109
8.4 具身智能大模型的现状：成功率、实时性、安全性及其他 110
8.5 小结 112
第9 章构建具身智能基础模型 114
9.1 背景知识 114
9.1.1 元学习 114
9.1.2 上下文学习 115
9.1.3 模型预训练 115
9.1.4 模型微调 116
9.2 具身智能基础模型 117
9.3 关键选择及利弊权衡 118
9.4 克服计算和内存瓶颈 119
9.5 小结 120
第4 部分具身智能机器人计算挑战
*10 章加速机器人计算 122
10.1 概述 122
10.2 机器人定位模块加速 122
10.3 机器人规划模块加速 127
10.4 机器人控制模块加速 134
10.5 因子图：机器人加速器的通用模板 136
10.6 小结 146
*11 章算法安全性 147
11.1 概述 147
11.2 人工智能安全：横亘在算法与应用之间的绊脚石 148
11.3 深度神经网络的攻击与防御 149
11.3.1 逃逸攻击 149
11.3.2 投毒攻击 151
11.3.3 探索攻击 152
11.3.4 防御方法 152
11.4 大模型中的安全问题 153
11.5 大模型安全隐患VS. 具身智能机器人安全 156
11.6 小结 157
*12 章系统可靠性 158
12.1 概述 158
12.2 机器人系统的可靠性漏洞 158
12.2.1 机器人本体的可靠性漏洞 158
12.2.2 机器人计算系统的可靠性漏洞 160
12.3 提升系统鲁棒性的常见方法 164
12.4 自适应冗余方法：提升鲁棒性的同时降低系统负担 166
12.5 小结 169
*13 章具身智能的数据挑战 170
13.1 具身智能的数据价值 170
13.2 具身智能的数据瓶颈 171
13.3 AIRSPEED 系统设计 173
13.4 具身智能数据采集端点 175
13.5 仿真服务 176
13.6 数据对齐服务 177
13.7 小结 178
第5 部分具身智能机器人应用案例
*14 章实例研究 180
14.1 系统设计 180
14.2 系统效果 185
14.3 小结 187
后记：总结与展望 189
参考文献 192

甘一鸣，博士，中国科学院计算技术研究所助理研究员。博士毕业于罗切斯特大学计算机学院。甘一鸣从事的研究方向为计算机体系结构，具体方向为面向机器人应用的专用芯片设计、自主机器系统的高效性与鲁棒性、集成电路设计自动化等。曾在ISCA、MICRO、HPCA、ASPLOS等体系结构领域顶会上发表文章。曾获得PACT2020年*佳论文提名，中科院特别资助计划等奖项。刘少山博士，现任深圳市人工智能与机器人研究院具身智能中心主任，世界青年科学院院士 （Elected Member，Global Young Academy）、IEEE*级会员，ACM杰出演讲人、IEEE杰出演讲人、ACM科技政策委员会成员、IEEE国际设备和系统路线图（IRDS）机器人计算方向主席，IEEE科技创业会中国区主席、世界经济论坛（WEF）议程贡献者等。刘少山博士在加州大学欧文分校取得计算机工程专业博士学位，美国哈佛大学肯尼迪政治学院公共管理硕士，先后在美国微软研究院、英特尔研究院、百度北美研究院任职，目前共发表高水平论文超过 100 篇，包括MICRO，HPCA，ASPLOS，DAC, Proceedings of the IEEE, IEEE Transactions on Computer，Communication of ACM，IEEE Computer等。另外著有《Robotic Computing on FPGAs》等4 本中英文专著，授权国内外发明专利超过100项。

梳理大模型时代具身智能机器人的基础理论体系与应用实践

梳理大模型时代具身智能机器人的基础理论体系与应用实践

1