全新正版暗数据9787521738087中信出版社

前言
部 暗数据：原因与结果
章 暗数据：塑造世界的无形力量
幽灵数据
你真的拥有全部数据？ 被忽略的“无事发生”
暗数据的力量
就在我们身边
第2章 探索暗数据：收集到的与没收集到的
来自各方的暗数据
数据废气、选择和自我选择
以小见 实验数据
注意人的弱点
第3章 定义与暗数据：你想知道什么？
定义差异与错误测量
你不能测量所有事物
筛查
基于过往表现的选择
第4章 非故意的暗数据：说一套，做一套
大视界
汇总
人为差错
仪器限制
连接数据集
第5章 方略暗数据：博弈、反馈和信息不对称
博弈
反馈
信息不对称
逆向选择和算法
第6章 故意的暗数据：欺诈与欺骗
欺诈
身份盗用与网络诈骗
个人财务诈骗
金融市场欺诈与内幕交易
保险诈骗
欺诈形式
第7章 科学与暗数据：科学发现的本质
科学的本质
早知道就好了
暗数据碰出新世界
暗数据打开大视野
隐瞒事实
撤回
出处和可信度：谁告诉你的？
第二部分 阐明和使用暗数据
第8章 处理暗数据：让光照进来
希望
在已观测数据与缺失的数据之间建立关联
识别数据缺失机制

戴维·汉德（DavidHand），伦敦帝国学院数学荣誉教授、资深研究员，英皇统计学会前，英国科学院院士。汉德教授学术成就非凡，曾出版著作7部。

幽灵数据先给大家讲个笑话。
几天前，我在路上碰到一个老头儿。他正在往路中央撒粉末，每隔50英尺撒一小堆。我问他在干什么。“这是驱象粉。”他回答，“大象怕这个，所以我用它来防大象。”“但是，这里没有大象啊。”我说。
“这就对啦！”他答道，“驱象粉真灵啊。”现在，言归正传。
每年有近10万人死于麻疹，每500名麻疹患者中会有一个死于并发症，剩下的人会遭受的听力丧失或大脑损伤。所幸，这种病在美国很少见。举个例子，1999年只报告了99例。但是，2019年1月，一场麻疹的暴发导致华盛顿全州进入紧急状态，同时，州也发现了大量增加的病例。1类似情况地方也有报道。在乌克兰，2019年2月中旬的一次麻疹暴发导致超过21000人被传染。
欧洲2017年发现25863例，但是到了2018年，感染病例已经超过8.2万例。3从2016年1月1日到2017年3月底，罗马尼亚报告了4000多例麻疹感染者，还有18个死亡病例。
麻疹是一种危害极大的疾病，它扩散时不易被察觉，因为直到感染数星期，你都不会出现明显症状。它从你眼皮底下悄悄溜过，你还没反应过来，就已经中招了。
然而，这种疾病也是可以防控的。简单的疫苗接种就能让你获得麻疹病毒免疫力。确实，以这种方式实施的全民防疫，在美国取得了极大的成功。事实上，在实施了这类防疫项目的，绝大部分家长从未见过或者经历过这种可预防疾病导致的可怕后果。但正因如此，当疾病控制和预防中心（简称“疾控中心”）建议家长给孩子接种疫苗以预防某种疾病时，家长们自然会将信将疑。因为疾控中心提到的这种疾病，他们从未在身边的朋友和邻居身上看到或听到过，而且，根据疾控中心的说法，这种疾病在美国已经不再是地方流行病了。
接种疫苗以预防某种疾病，但这种疾病在当地又不存在。这跟使用驱象粉有什么区别？然而与大象不同的是，得病的风险和以前一样真实存在。仅仅因为那些家长赖以做出决定的信息和数据缺失了，所以风险才变得不可见。
我把各种缺失的数据称为“暗数据”（darkdata）。暗数据隐藏在我们的认知之外，这意味着我们可能出现误解，得出错误的结论，做出糟糕的决定。简言之，我们的无知意味着犯错。
“暗数据”这个术语与物理学中的暗物质相似。宇宙中大约27%的部分由暗物质这种神秘物质组成。暗物质与光或电磁辐不发生作用，因此不可见。因为暗物质无法被看到，所以天文学家长久以来并未意识到它们的存在。直到后来，对银河系旋动的观测揭示出这样的现象：较远处的恒星，并不比靠近中心的恒星转动得更慢。这与我们根据重力原理得出的预期不一致。这种异常转动可以用一种设来解释：通过我们用天文望远镜能看到的恒星和天体来判断，银河系的质量比看起来的大得多。我们看不见那些多出来的物体，所以称其为暗物质。然而，暗物质不是无意义的（我甚至认为它是很重要的）：在我们所在的银河系中，暗物质的数量可能比普通物质的10倍还多。
暗数据和暗物质有很多类似之处：我们看不到那些数据，它们没有被记录下来，但是它们仍然会对我们的判断、决定和行为产生重大影响。正如后来一些例子显示的那样，除非我们意识到这种可能，即我们周遭一直潜伏着未被认知的事物，否则，后果可能是灾难的，甚至是致命的。
本书的目的就是探索暗数据是如何形成的以及它为什么会形成。我们将考察不同类型的暗数据，并研究它们的起因。首先，我们会探讨采取什么措施可以避免暗数据的产生。其次，我们还将研究如果意识到暗数据被屏蔽，我们能做些什么。，我们还将看到，如果我们足够聪明，那么我们也有可能从暗数据中获益。尽管这些看起来既奇怪又矛盾，但是，恰当利用未知事物和暗数据的确可以帮我们做出更好的决定，更好地实施相关行动。务实地说，这意味着我们可以通过巧妙地利用未知事物，过上更加健的活，赚更多钱，降低风险。这并不意味着我们应该向人隐瞒信息（尽管我们也将看到，被故意隐瞒的数据是一种常见的暗数据类型）。暗数据比那种被刻意隐瞒的数据微妙得多，所有人都能因其获益。
暗数据有许多形态，其成因也各种各样。基于成因，我把暗数据分为15种类型。我的分类并不是穷尽式的，因为暗数据的成因多，列出所有类型几乎是不可能的。而且，任何特定的暗数据案例都会清晰地显示出不止一种类型——不同类型的暗数据能够共同起作用，甚至可以组合在一起产生不利的协同效应。尽管如此，对这些暗数据类型的认识，以及对显示暗数据的案例的检查，能帮你判断问题何时出现，从而保护你免遭其害。我在本章列出了暗数据分类清单，按照相似进行了大致排序，并在0章对各种类型进行了详细阐述。在本书中每种特定类型出现的地方，我都进行了说明。但是，我刻意避免采用详尽列举的方式，因为那样会造成干扰。
我们再来看一个新案例。
在医学上，创伤属于严重损伤，可能会造成长期的严重后果。它是导致早逝和残疾等影响寿命的主要原因之一，也是40岁以下人群常见的死亡原因。创伤审查与研究网络（TARN）的创伤病患数据库是欧洲的医学创伤数据库。该数据库收集了来自200多家医院（其中包括英格兰和威尔士93%以上的医院，以及爱尔兰、荷兰和瑞士等医院）的创伤病例。很明显，对于研究创伤干预治疗措施的预后和疗效来讲，这是个丰富的案例数据库。
叶夫根尼·米克斯医生和他英国莱斯特大学的同事查阅了这个数据库里的一些数据。4从被考察的165559个创伤案例中，他们发现19289个病例的结果是未知的。在创伤研究中，“结果”指的是伤害发生至少30天后病人依然存活。也就是说，超过11%的病人的30天后存活数据不得而知。这个案例展示了暗数据的一种常见形式，即种暗数据：已知的缺失数据。我们知道这些病人都有各自的结果，但我们不知道他们的结果是什么。
没关系，你可能会这样想：让我们来分析一下已知其结果的146270个病人，以此为基础建立认知和进行预后。竟，146270已经是个不小的数字了，在医学领域，这属于“大数据”。因此，我们当然会对此有信心：基于这些数据产生任何结论，都将确切无疑。
但是，这样行吗？或许，缺失的19289个病例比病人更特殊。竟，这些病例的确具有某种特殊，因为他们的结果都是未知的，因此，我们怀疑他们可能在方面也有所不同，是有一定理由的。因此，相对于整个创伤病人群体，针对这146270个具有已知结果的患者进行的任何分析，都可能具有误导。所以，基于这个分析而采取的治疗措施，也有可能是错误的，也许还会导致医生产生错误的判断，开出不正确的处方，采用不恰当的治疗方案，给病人造成不利甚至致命的后果。
举一个不切实际的、的例子：设这46270名已知结果的患者在未经治疗的情况下，全都存活并康复了，但19289名未知结果的患者在入院后两天内全部死亡。如果忽略那些未知结果的患者，我们就会顺理成章地得出结论：没什么可担心的，所有创伤患者都康复了。在此基础上，我们将不会对任何新收治的创伤患者采取治疗措施，而是寄希望于自然康复。然后，我们会为超过11%的死亡病例而感到震惊和困惑。
在故事继续深入之前，我想请读者们放心。我的设想只是糟糕的场景，我们有理由期待现实情况不会那么糟，米克斯医生和他的同事都是分析缺失数据的专家。他们清楚这种风险，因此一直致力于开发统计学方法来应对这种问题，我将在本书后面的章节详述类似的方法。然而，从这个故事中得到的启示是：事情可能并非像它们看上去的那样。确实，如果本书对你有什么启示，那么它大概会是：虽然大量采集数据很有帮，但是量并不代表一切。就理解正在运行的事物而言，比起你已经掌握的数据，更重要的可能是那些你没掌握的数据不知晓的东西。在我们将要看到的任何例子中，暗数据问题都不仅仅是大数据问题，小的数据也出现这些问题。它们无所不在。
这个创伤病患数据库的故事可能有点儿夸张，但它的意义在于向我们发出警示。也许，19289名患者的结果没有被记录下来，正是因为他们都在30天内死亡了。竟，如果结果来源于患者入院30天后接受的访问，那么，已经死亡的患者根本不会回答问题。除非意识到这种可能，否则，我们永远不会有患者死亡的记录。
听起来可能有点儿傻，但是事实上，这种情况经常出现。举例来说，为某类接受特定治疗的患者确定预后而建立的模型，要基于先前接受此类治疗的患者的结果。但是，如果没有足够的时间让先前所有病人都得出结果，那么会怎么样呢？对那些病人来说，其结果将成为未知结果。所以，仅仅建立在已知结果的患者数据上的模型，可能会对我们产生误导。 类似现象也出现在问卷调查上，没被回答的问卷，才是难题的根源。研究人员通常会有一份完整的人员名单，列出了他们理想化的答题者。但通常情况下，并不是每个人都会回复问卷。如果那些答题的人和没有答题的人在某些方面有所不同，那么研究人员有理由怀疑这些统据不能完全代表民众意向。竟，如果某杂志向它的订阅者发起问卷调查，只问一个问题：你会回复杂志的调查问卷吗？即使在所有的回收问卷中，的人回答“是”，我们也不能把这种情形解释为所有订阅者都回复了此类调查。
前述案例阐明了种类型的暗数据。我们知道，所有创伤患者的数据都存在，尽管这些数据没有全部被记录下来。我们知道，问卷调查的所有对象都有其，尽管他们不一定回复。也就是说，我们知道那些数据存在确定值，我们只是不知道那些数值具体是什么。
下面要讨论另外一种不同类型的暗数据（第2种暗数据：未知的缺失数据）。
许多城市都有路面坑洞问题。水流进路面的小裂缝，并在冬季结冰，造成裂缝扩大，然后经过汽车轮胎的碾轧，裂缝进一步扩大。这会导致恶循环，在路面上形成由于轮胎和车轴的碾轧形成的坑洞。波士顿市下决心用现代技术解决这个问题。他们发布了一款智能手机应用程序，利用手机的内部加速器来监测汽车轧过路面坑洞时产生的颠簸，然后利用GPS（全球定位系统）把路面坑洞的位置自动发送给城市管理部门。
现在，公路维护人员可以准确地知道要去哪里修补路面坑洞了。这个出色的问题解决方案，建立在现代数据分析技术的基础上，不过，它忽略了一个事实：拥有汽车和昂贵的智能手机的人，多集中在富裕地区。因此，贫困地区的路面坑洞很可能不会被发现，它们的位置不会被发送出去，一些地区的路面坑洞可能永远无法得到修复。
这种方法不但没有从整体上解决路面坑洞问题，甚至可能加剧社会不平等。这种情况不同于创伤患者案例。在创伤患者案例中，我们明确知道某些数据缺失了。而在这里，我们并没有意识到这一点。
下面是另外一个这种类型的暗数据例子。2012年10月下旬，飓风“桑迪”5袭击了美国东海岸。当时，它造成了美国历第二大损失，是有记录以来的大西洋飓风。“桑迪”造成了大约750亿美元的损失，导致8个共200多人死亡。“桑迪”波及美国24个州，从罗里达到缅因、密歇根、威斯康星等，并且导致金融市场因为电力中断而关闭。它还间接导致了约9个月之后的出生率激增。
同时，那也是一次现代媒体的胜利。伴随飓风“桑迪”的，是一场实时播报飓风情况的Twitter（推特）风暴。Twitter的独特意义在于即时告诉你正在发生什么事情、事情发生在哪里以及发生在谁身上。
这种社交媒体平台是一种实时跟进事件进展的有效手段。这正是飓风“桑迪”肆虐期间的写照。从2012年10月27日到2012年11月1日，Twitter上发布了超过2000万条播报飓风情况的帖子。很明显，我们可能会认为，这是一个理想的平台，让我们持续不断地了解风暴发展情况，以确定哪些地区受到了严重影响，哪些地区需要紧急救援。
但是，后来的分析表明，Twitter上关于飓风“桑迪”的内容，大多数来自曼哈顿，只有少量内容来自洛克威、科尼岛等区域。这意味着洛克威、科尼岛的受灾情况轻一些？虽然曼哈顿的地铁和街道都被水淹没了，但是，那里并非受灾严重的区域，甚至在整个纽约范围内也算不上。是，之所以某些地区在Twitter上发布的内容较少，并不是因为那些地区受灾较轻，而仅仅是因为那里拥有智能手机、使用Twitter的人更少。
事实上，我们可以再次设想一种情况：如果一个社区被“桑迪”摧毁了，就根本不会有任何关于该社区的内容被发布在Twitter上。这种情况反而会给人一种“那里的每个人都很好”的印象。可见，暗数据才是。与种类型的暗数据一样，第2种暗数据，那些我们不知道哪些数据缺失了的例子，也是无处不在的。想想未被发现的欺诈行为，或者那些未能明凶案发生的刑事犯罪调查。
对于前两种类型的暗数据，你可能会有点儿似曾相识的感觉。在一次著名的新闻发布会上，美国前部长唐纳德·拉姆斯菲尔德将它们概括为一句话。他说：“既有已知的未知，也就是说，我们知道有些事情我们不知道；也有未知的未知——那些我们不知道自己不知道的东西。”6拉姆斯菲尔德的话略显佶屈聱牙，因此颇受媒体嘲讽。但他说得很有道理，而且肯定是真的。
先前说到的这两种类型，只是一个开头。在接下来的章节里，我们将陆续介绍其暗数据。这两种类型加上后面将提到的类型，就是本书的全部。正如我们所见，暗数据具有许多种形式。除非我们意识到，数据可能是不完整的，观察某一事物并不意味着观察一切事物，测量过程可能是不准确的，被测量的东西可能不是我们真正想要测量的对象，否则，我们对当下事物的认知，很有可能只是一种被严重误导的表象。没有人听见树在森林中倒下的声音，并不意味着没有发出声音。

1. 作者被称为“暗数据之父”
作者汉德教授是英国科学院院士、统计学家，他也为金融、健康、药学领域及分析大量资料，《暗数据》结集其中精华，堪称洞见制作，也有人将汉德教授称为“暗数据之父”。

2.统计学视角的通俗科普读物
书中为读者展现了一般人不易观察到的统计学分析角度：在备受推崇的大数据时代，大多数人都沉浸在只要掌握足够多的数据就的幻觉中。这本书指出其中的盲点，翻转视角，开辟另一片视野。
3.具有批判思维
数据不可能体现接近客观，也并非真理。这本书告诉读者在阅读任何资料时，如何避免掉进“客观”的陷阱，对已获取、看似可掌握的资料，保有怀疑精神。
4. 案例鲜活丰富
作者深入剖析生活中实例，从耳熟能详或耸人听闻的经典案例入手，案例丰富鲜活且耐人寻味：作者写作经验丰富，以生动有条理的叙事，引导读者进入主题，阅读体验深刻且烧脑。
5. 了解暗数据，揭示问题的解决之道
涉及医疗、制药、治理、社会政策、金融业、制造业等各领域的暗数据现象，揭示问题的解决之道，就在于了解信息中不为人知的黑暗边角是如何扭曲我们的认知。