音像图解数据科学[日]增井敏克

章 数据科学的支撑技术
- 应对未来需求高涨的必修课 -
1-1 21 世纪的石油
数据、信息 ..........................................................................................002
1-2 数据为何越来越多
信息化社会、物联网、信息社会、传感器 .....................................004
1-3 综合各种知识进行分析
数据科学、数据挖掘..........................................................................006
1-4 从数据中发现价值的职业
数据科学家、数据、数据分析师..........................................008
1-5 数据不能直接拿来使用
结构化数据、非结构化数据..............................................................010
1-6 大量的数据是宝藏
数据、3 个 V........................................................................................012
1-7 人与计算机易于处理的数据不同
杂乱数据、整齐数据..........................................................................014
1-8 把握供数据使用的数据
主数据、元数据..................................................................................016
1-9 将数据整理到一处
数据基础设施、商业智能仪表盘、数据管道 .................................018
1-10 对高效处理流程进行思考
算法、数据结构..................................................................................020
1-11 导出规则的实用化
模型、建模?..........................................................................................022
1-12 用于处理数据的编程语言
R 语言、Python 语言、Julia 语言?......................................................024
1-13 任何人都可以免费使用的数据
开放数据、e-Stat、WebAPI?..............................................................026
1-14 一边娱乐，一边学习分析方法
Kaggle、编程比赛、CTF?....................................................................028
1-15 围绕 IT 进行思考
数字化转型、数码化、数字化?..........................................................030
1-16 已经分析的数据的运用事例
聊天机器人、?..............................................................................032
1-17 购买了这款商品的顾客还同时购买了这样的商品
购物篮分析、关联分析、RFM 分析?.................................................034
1-18 根据数据进行不同的定价
动态定价、金融科技?..........................................................................036
1-19 从小规模出发进行尝试
概念验小规模启动?......................................................................038
1-20 持续不断地谋求改善
PDCA 循环、OODA 循环、反馈循环?...............................................040
1-21 先行确定目标，之后有策略地进行实施
KPI、KGI、KSF??.................................................................................042
1-22 把握与数据相关的人
用例、利益相关者?..............................................................................044
试一试 ?尝试一下对使用数据的事例进行调查吧?........................... 046

第二章 数据的基础
- 表示方法与读取方法 -
2-1 数据的分类
名义尺度、定序尺度、定距尺度、比例尺度、定变量、
定量变量 ..............................................................................................048
2-2 从范围的角度对数据加以区分
频数分布表、组、频数、组距、直方图..........................................050
- 区别使用各种图形
棒状图、折线图..................................................................................052
2-4 表示比例的图形
饼状图、带状图..................................................................................054
2-5 将各种数据展示于一张图中
雷达图、箱形图..................................................................................056
2-6 构成数据基准的数值
代表数值、平均值、中位数、鲁棒、众数 .............................058
2-7 掌握数据离散程度
方差、标准偏差..................................................................................060
2-8 用一个标准判断
变异系数、标准化、偏差值..............................................................062
2-9 处理不恰当的数据
异常值、缺失值..................................................................................064
2-10 为什么销售额的八成来自两成的商品 ?
帕累托定律、帕累托分析、帕累托图、长尾效应 .........................066
2-11 对数量实施视觉展示
数据可视化、层级区分图、文字云图..............................................068
2-12 任何人都可以使用的便捷的数据分析工具
BI 工具、OLAP?....................................................................................070
2-13 集中管理数据
数据仓库、数据湖、数据集市?..........................................................072
2-14 对数据协作进行思考
ETL、EAI、ESB?..................................................................................074
2-15 对数据结构进行可视化
ER 图、DFD 图、CRUD 表、CRUD 图?............................................076
2-16 设据库
正规化、非正规化?..............................................................................078
2-17 对纸上打印的数据进行提取处理
OCR、OMR?..........................................................................................080
2-18 高精度、高速度地导入数据
条形码、二维码、NFC?.......................................................................082
试一试 ?尝试一下对使用数据的事例进行调查吧?............................ 084

第三章 数据处理与充分利用
- 对数据进行分类和预测 -
3-1 根据获取时间而变化的数据
时间序列数据、趋势、噪声、周期?..................................................086
3-2 程序自动输出的数据
日志、转储文件?..................................................................................088
3-3 捕捉长期变化
移动平均法、移动平均线、加权移动平均法?.................................090
3-4 掌握两个数轴之间的关系
散点图、协方差、相关系数?..............................................................092
3-5 不被表面的关系所欺骗
相关关系、因果关系、伪相关?..........................................................094
3-6 立足于多个数轴进行汇总
交叉汇总、联合分析、直交表?..........................................................096
3-7 通过减少数轴的数量来把握特征
维度、主成分分析?..............................................................................098
3-8 了解人们对两点之间距离的看法
欧几里得距离、曼哈顿距离?..............................................................100
3-9 调查相似的角度
余弦相似度、Word2Vec?.....................................................................102
3-10 数据分析不只有帅气的一面
预处理、数据准备、数据清洗、数据分析识别?.............................104
3-11 明确多个数轴之间的关系
回归分析、二乘法?......................................................................106
3-12 了解高级回归分析
多重回归分析、逻辑回归分析?..........................................................108
3-13 对分类进行预测
判别分析、马哈拉诺比斯距离?..........................................................110
3-14 基于已掌握的知识进行数值推算
费米估算?..............................................................................................112
3-15 实现对掷骰子结果的操控
随机数、伪随机数、随机种子、法?.................................114
3-16 通过反复预测提高精度
德尔菲法、指数平滑法??.....................................................................116
3-17 了解各种分析方法
多变量分析、数量化一类、数量化二类、数量化三类?.................118
试一试 ?尝试一下统计问卷调查的结果吧?........................................ 120

第四章 需要了解的统计学知识
- 立足于数据推测 -
4-1 统计学的分类
描述统计学、推断统计学..................................................................122
4-2 抽取数据
总体、样本、随机抽样......................................................................124
4-3 用数值表示易发
统计概率、数学概率、概率、期望值 .............................................126
4-4 针对几个独立事件同时发生的概率进行思考
同时概率、独立、互斥、条件概率、概率的乘法定理.........128
4-5 基于结果对原因进行思考
先验概率、后验概率、贝叶斯定理、似然 .....................................130
4-6 把握数据的分布
概率分布、均匀分布、二项分布、正态分布、标准正态分布.....132
4-7 如果收集众多数据，就能接近真实值
中心极限定理、大数定律..................................................................134
4-8 用函数来表示分布
概率密度函数、累积分布函数..........................................................136
4-9 根据抽取的数据推测原始的总体
无偏估计量、点估计、区间估计、置信区间 .................................138
4-10 在不知道方差的情况下进行推算
标准误差、无偏方差、自由度、t 分布 ...........................................140
4-11 从统计学的角度进行验
检验、原设、备译设、拒绝......................................................142
4-12 确定做出正确判断的基准
检验统计量、拒绝域、显著水平、双侧检验、单侧检验.........144
4-13 对检验结果做出判断
p 值、显著差异、错误、类错误、第二类错误?..................146
4-14 检验平均值
Z 检验、t 检验??....................................................................................148
4-15 检验方差
χ 2 分布、χ 2 检验、F 检验?...................................................................150
试一试 ?尝试检验一边的食品吧?................................................ 152

第五章 需要了解的有关人工智能的知识
- 常用的手法及其机制 -
5-1 打造与人类具有同等智慧的计算机
人工智能、图灵测试??.........................................................................154
5-2 实现人工智能的手法
机器学习、监督学习、无监督学习、强化学习?.............................156
5-3 用于评价人工智能的指标
混淆矩阵、准确率、率、召回率、F 值、交叉验??.............158
5-4 掌握学习的进度
过拟合、欠拟合?..................................................................................160
5-5 模仿大脑的学习方法
神经网络、损失函数、误差反向传播法..........................................162
5-6 逐渐接近解
梯度下降法、局部解、学习率?..........................................................164
5-7 深入各分层，利用大量数据进行学习
深度学习、CNN、RNN、LSTM.........................................................166
5-8 对误差进行量化
偏差 - 方差分解、折中?......................................................................168
5-9 提升精度
正则化、拉索回归、岭回归?..............................................................170
5-10 分成多个组
聚类、k 均值算法?...............................................................................172
5-11 划分为任意个簇
分层次聚类、Ward 法、短距离法、距离法?........................174
5-12 在树结构中学习
决策树、不纯度、信息增益?..............................................................176
5-13 使用多个人工智能进行多数表决
随机森林、集成学习、引导聚集算法、提升方法?.........................178
5-14 评价规则的指标
支持度、置信度、提升度?..................................................................180
5-15 边界余量的化
支持向量机、超平面、硬余量、软余量..........................................182
5-16 进行自动的机器学习
自动化机器学习、可解释人工智能?..............................................184
5-17 结合各种方法寻找解决方法
运筹学、数理优化、数理设计法、概率设计法?.............................186
试一试 ?查找一下的吧?........................................................ 188

第六章 有关安全与隐私的问题
- 数据社会将走向何方？ -
6-1 处理数据时必须遵守道德
信息伦理、数据伦理?..........................................................................190
6-2 数据可靠堪忧
统计造、技术人员伦理??.................................................................192
6-3 错误认识导致精度下降
数据偏差、算法偏差 .........................................................................194
6-4 在日本对于个人信息的处理
个人信息保护法、P 认 ..................................................................196
6-5 在海外对于个人信息的处理
GDPR、CCPA ......................................................................................198
6-6 对个人信息的充分利用进行思考
名化、匿名化、k- 匿名化 ............................................................200
6-7 对数据的流通、一般使用与充分利用进行思考
数据驱动型社会、超智能社会、信息银行 ....................................202
6-8 制定处理数据时的规则
信息安全政策、隐私政策..................................................................204
6-9 公示收集数据的目的
使用目的、选择加入、选择退出......................................................206
6-10 了解保有数据的权利
知识产权、著作权..............................................................................208
6-11 自动获得外部数据
抓取、爬取 ..........................................................................................210
6-12 对保有数据的读取进行管理
访问控制、备份..................................................................................212
6-13 防止从内部带出数据
审计、数据泄露防护..........................................................................214
6-14 每次都能得到相同结果
幂等 .................................................................................................216

[日]增井敏克增井技术士事务所代表，获得日本信息工学部门技术资格认。
于大阪府立大学院。通过技术（网络、信息安全）和多项信息处理技术人员。
通过商务数学检定1级，获得公益财团法人日本数学检定协会认定，以培训师身份展开活动。
开创“商务×数学×IT”模式，帮客户正确、高效提升计算机技能，并致力于各种软件的开发。
著作有《完图解络与信息安全》《完全图解编程原理》《程序员的算法趣题》《用Python编程和实践！算法入门》《IT用语图鉴》等。

1-121世纪的石油数据、信息数据与信息有何区别在生活中，我们常常需要对未来做出“预测”“预估”（图1-1）。这样做的时候，我们虽然可以依靠经验和直觉，但是也会寻找以往的数据，通过问卷调查、网络等收集必要的信息。收集尽可能多的准确数据有于提高预测、预估的准确，因此数据也被称为“21世纪的石油”。
此时，我们需要对数据与信息加以区分。人们常说“数据代表已经发生的状态”“信息处于可供使用的状态”。按照这个说法，我们可以这样理解，数据并不处于可供使用的状态。在直观的印象中，数据是“数字的罗列”，是“按照一定的形式收集起来的事物”。可以说，数据是便于计算机处理的事物，而信息则是“已被加工成便于人们使用的事物”“可供对方在采取下一步行动时使用的事物”（图1-2）。
将数据转化为信息如果各位听到“当前气温为18摄氏度”的播报时，会有什么感觉呢？这个“18摄氏度”是一个数据。如果是夏天，各位会感到“凉爽”，如果是冬天，各位会感到“有些热”吧。如此，即使我们获得的数据相同，但由于所处环境的不同，我们获得的信息也会不同。
便利店的店长或许会根据次日的天气预报思考“增加冰激凌的库存”“减少关东煮的订货量”，孩子的父母或许会根据天气预报为上学的孩子做出增减衣物的判断。
此时，我们需要的是气温这一“数据”，是电视台的播音员所播报的“信息”。有了正确的数据作为支撑，传递内容的可信度也会得到提升。
要点：收集大量的准确数据有于提高预测、预估的准确。
为了促使人们采取行动，需要将计算机易于处理的数据转换为人类易于使用的信息。
1-2数据为何越来越多信息化社会、物联网、信息社会、传感器从信息化社会迈进信息社会在次工业中，人类利用煤炭作为能源实现了轻工业的机械化，在第二次工业中，人类利用石油作为能源实现了重工业的机械化，在第三次工业中，人类应用计算机技术实现了机械的自动化。1970年以来，伴随计算机的应用，信息的重要不断加强，人类迎来了信息化社会。
这一趋势一直持续至今。近来，人们将人工智能和物联网所带来的高度自动化称为“第四次工业”、工业4.0，称当今社会为“信息社会”（图1-3）。“信息社会”一词所要强调的不是人类将数据转化为信息的“信息化”，而是人们可以运用已有的信息技术自由自在地使用信息的状态。
得益于物联网与传感器的便利的社会人们可以运用物联网技术将个人电脑、智能手机，以及电视、空调、冰箱等各种设备与互联网连接，实现更为便捷的使用。这样的时代已经到来了。
外出回家时，如果我们在到家之前开启空调，到家时室内就可以达到舒适的温度。在超市购物时，如果我们用智能手机检查家中冰箱里的存货，就能避免遗漏想要购买的东西。
此外，如果在物联网设备上安装传感器，那么使用起来就更方便了。传感器可以监控室内亮度，发现室内变暗时会自动拉上窗帘，发现有人移动时会自动打开照明灯，发现室内变冷时会自动开启暖气（图1-4）。
像这样，在信息社会中，信息对于实现设备之间的协调工作具有重要作用。
要点：人类依托人工智能与物联网实现了高度自动化，人们称其为“第四次工业”。
人们运用物联网技术将各种设备与互联网相连，使生活变得更加便利。