正版新书]数据标注工程总主编 刘鹏 张燕 主编 刘鹏978730252844

章 数据标注概述 1
1.1 数据标注的起源与发展 1
1.1.1 什么是数据标注 3
1.1.2 数据标注分类概述 4
1.1.3 数据标注流程概述 6
1.2 数据标注的应用场景 7
1.2.1 出行行业 7
1.2.2 金融行业 8
1.. 医疗行业 8
1.2.4 家居行业 8
1.2.5 安防行业 9
1.2.6 公共服务 9
1.2.7 商务 10
1.3 有多少智能，就有多少人工 10
1.3.1 有监督的机器学习 10
1.3.2 批人工智能的“老师” 11
1.4 数据越多，智能越好 12
1.5 作业与练习 14
参考文献 14
第2章 数据采集与清洗 16
2.1 标注对象 16
2.1.1 主要的数据来源 16
2.1.2 常见的标注数据 17
X 数据标注工程
2.2 数据采集 18
2.2.1 数据采集方法 18
2.2.2 数据采集流程 19
2.. 标注数据采集 20
. 数据清洗
..1 数据清洗方法 24
..2 数据清洗流程 26
.. MapReduce 数据去重 26
2.4 作业与练习 28
参考文献 28
第3 章 数据标注分类 29
3.1 图像标注 29
3.1.1 什么是图像标注 29
3.1.2 图像标注应用领域 30
3.2 语音标注 35
3.2.1 什么是语音标注 35
3.2.2 客服录音数据标注规范 35
3.3 文本标注 38
3.3.1 什么是文本标注 38
3.3.2 文本标注应用领域 38
3.4 作业与练习 41
参考文献 41
第4 章 数据标注质量检验 42
4.1 数据质量影响算法效果 42
4.2 数据标注质量标准 44
4.2.1 图像标注质量标准 44
4.2.2 语音标注质量标准 47
4.. 文本标注质量标准 48
4.3 数据标注质量检验方法 48
4.3.1 实时检验 48
目 录XI
4.3.2 全样检验 50
4.3.3 抽样检验 50
4.4 作业与练习 53
参考文献 53
第5 章 数据标注管理 55
5.1 数据标注工厂设计 55
5.2 数据标注管理架构 59
5.3 数据安全管理与质量管理体系 60
5.3.1 数据存储安全管理要求 60
5.3.2 工厂人员行为管理 61
5.3.3 溯源体系建设 61
5.3.4 质量管理体系建设 62
5.4 数据标注项目评估 63
5.5 数据标注订单管理 64
5.6 数据标注客户关系管理 65
5.7 作业与练习 66
参考文献 66
第6 章 数据标注应用 68
6.1 自动驾驶 68
6.1.1 自动驾驶的发展 68
6.1.2 自动驾驶的9 种数据标注 70
6.2 智能安防 75
6.2.1 智能安防的发展分析 75
6.2.2 智能安防的5 种数据标注 77
6.3 智能医疗 80
6.3.1 智能医疗的发展 80
6.3.2 智能医疗应用的4 种数据标注 80
6.4 作业与练习 82
参考文献 83
XII 数据标注工程
第7 章 数据标注实战 84
7.1 实战环境搭建 84
7.1.1 标注工具安装环境搭建 84
7.1.2 LabeI 标框标注工具的使用方法 92
7.1.3 Labelme 工具的安装与使用方法 100
7.2 医疗影像标注 104
7.3 遥感影像标注 106
7.4 车牌图像标注 109
7.4.1 车牌图像标框标注 109
7.4.2 车牌图像分类标注 110
7.5 人像数据标注 113
7.5.1 行人图像标注 113
7.5.2 人脸数据标注 116
7.6 作业与练习 121
参考文献 121
附录 大数据实验平台（数据标注版） 122

刘鹏 清华大学博士。现任中国大数据技术与应用联盟副理事长、中国大数据应用联盟人工智能委员会主任、中国云计算专家咨询委员会专家委员、云计算研究中心专家。

“有多少智能，就有多少人工”。随着人工智能技术突飞猛进地发展，数据标注行业也随之异军突起。经过短短几年的发展，我国专职从事数据标注行业的人员已经突破20万，兼职人员的数量突破100万。在未来5年，专职数据标注的缺口将高达100万。人工智能行业巨头纷纷寻找专业的数据标注，但目前接受过系统培训的数据标注少之
又少。
早期的数据标注工作是由专门研究人工智能算法的进行小规模的数据标注，但在人工智能第三次浪潮之下，小规模的数据标注已经不能满足人工智能的发展需求，所以在2011年开始出现专门从事数据标注工作的团队，并且慢慢形成了数据标注行业。从2017年开始，人工智能的应用开始呈式增长，大规模的数据标注需求涌入，让数据标注行业迎来真正的爆发，正式进入人们的视野。
在快速膨胀的需求与扶持政策的推动下，全国高职、中职院校纷纷启动数据标注应用型人才培养计划。然而，数据标注专业建设却面临重重困难。首先，数据标注是一个新生事物，懂数据标注的教师少之又少，院校缺“人”；其次，尚未形成完善的数据标注人才培养和课程体系，院校缺“机制”；，院校没有数据标注项目，开展数据标注教学实践工作缺“原材料”。
为了能够更系统地培养数据标注，我们的团队经过大量的市场考察与调研，深入了解数据标注行业，对数据标注各个环节进行调整，推出了这本教材。本书先从数据标注基本概念开始，介绍数据标注的前世今生以及发展趋势，然后系统地梳理了数据标注分类及数据标注流程，再对数据标注质量检验和数据标注管理进行详细介绍，分析学习热门行业数据标注应用，对四大重点行业进行数据标注实战。本书致力于将理论与实践结合在一起，让读者真正掌握数据标注的核心技术。
VIII 数据标注工程
本书是集体智慧的结晶，在此谨向付出辛勤劳动的各位作者致敬！书
中难免会有不当之处，请读者不吝赐教。我的邮箱：gloud@126.com，
公众号：刘鹏看未来（lpoutlook）。
刘鹏 教授
于南京大数据研究院
2019 年1 月1 日

随着人工智能技术的迅猛发展，数据标注行业也异军突起。本书是为了能够更系统地培养数据标注而编写的，从数据标注基本概念开始，介绍数据标注的前世今生以及发展趋势，然后系统地梳理了数据标注分类及数据标注流程，再对数据标注质量检验和数据标注管理进行了详细介绍，很后分析学习在热门行业中数据标注的应用，对四大重点行业给出数据标注实战案例。