预售数据中台建设：从方法论到落地实战 彭勇 著 经管、励志 文轩网

章 数字化转型是大势所趋 / 1 1.1 科技加速理论 / 2 1.2 各个行业积极拥抱数字化变革 / 4 1.2.1 工业4.0的数字化发展趋势 / 4 1.2.2 智慧农业的数字化发展趋势 / 6 1.2.3 智慧服务业的数字化发展趋势 / 7 1.2.4 智慧城市的数字化发展趋势 / 11 1.2.5 小结 / 12 1.3 DT时代已来 / 13 1.3.1 DT时代和IT时代的差异 / 13 1.3.2 DT时代面临诸多挑战 / 16 1.4 数据中台呼之欲出 / 17 第2章 认知数据中台 / 18 2.1 什么是数据中台 / 19 2.1.1 行业对数据中台的不同理解 / 19 2.1.2 数据中台的定义 / 20 2.1.3 对数据中台的诠释 / 20 2.2 建设数据中台的价值 / 23 2.3 数据中台的建设目标 / 25 2.3.1 总体目标 / 25 2.3.2 数据中台的标准化 / 27 2.3.3 数据中台业务化 / 28 2.3.4 数据中台平台化 / 29 2.3.5 数据中台服务化 / 30 2.4 数据中台与上下游平台的关系 / 31 2.4.1 “前台-中台-后台”关系 / 31 2.4.2 数据中台和业务中台的关系 / 32 2.5 数据中台建设的9大误区 / 34 2.5.1 数据中台等同于数据工具的集合 / 34 2.5.2 数据中台等同于数据平台 / 35 2.5.3 企业小，不需要数据中台 / 35 2.5.4 建设数据中台是互联网企业的事，传统行业用不着 / 35 2.5.5 建设数据中台是数据部门的工作，与其他部门 关系不大 / 36 2.5.6 数据中台直连前台更敏捷，没必要建设业务中台 / 36 2.5.7 在数据中台成型后，不需要烟囱式的临时技术 团队 / 38 2.5.8 不着急建设数据中台，等业务成熟之后再说 / 38 2.5.9 建设数据中台可以一蹴而就 / 39 2.6 行业对数据中台的4个认知阶段 / 40 2.6.1 数据模型实现数据资产化 / 40 2.6.2 数据平台实现数据高可用性 / 41 2.6.3 实现数据业务化和服务化 / 41 2.6.4 实现数据和业务智能化 / 42 2.7 数据中台服务化发展阶段 / 42 2.7.1 实现服务手工可配置 / 43 2.7.2 实现服务智能组合和自适应 / 43 2.7.3 实现服务的智慧生态 / 44 第3章 数据中台建设方法论 / 45 3.1 数字化战略 / 46 3.1.1 数字化战略的价值 / 46 3.1.2 战略和执行双轮驱动 / 47 3.1.3 数据中台战略制定 / 51 3.2 数据中台的整体框架 / 54 3.2.1 统一数据基础设施平台 / 56 3.2.2 数据接入和汇聚平台 / 57 3.2.3 统一数据模型平台 / 58 3.2.4 统一ID和标签平台 / 58 3.2.5 数据开发和运维平台 / 59 3.2.6 数据智能平台 / 59 3.2.7 数据管理平台 / 60 3.2.8 数据服务平台 / 62 3.3 数据中台的8大设计准则 / 63 3.3.1 有数能用 / 64 3.3.2 让数据可用 / 64 3.3.3 让数据好用 / 65 3.3.4 让数据易用 / 66 3.3.5 让数据放心用 / 66 3.3.6 让数据更智能 / 67 3.3.7 让数据服务化 / 67 3.3.8 让数据可控 / 68 3.4 数据中台行动攻略 / 68 3.4.1 “九看”方法论 / 68 3.4.2 数据中台MVP建设路径 / 73 3.5 数据中台技术选型 / 77 3.5.1 4种选型方案 / 77 3.5.2 开源解决方案 / 78 3.6 总结 / 88 第4章 统一数据模型：让数据资产化 / 89 4.1 数据标准化体系的价值 / 90 4.1.1 数据标准化体系是数字化战略的基础 / 90 4.1.2 数据管理是事前远见，数据治理是事后亡羊补牢 / 94 4.2 数据资产管理体系介绍 / 95 4.2.1 6个常用的数据资产管理体系 / 95 4.2.2 制定数据管理战略 / 97 4.3 高效数据建模，让数据好用起来 / 98 4.3.1 统一数据模型的意义 / 98 4.3.2 统一数据模型具体做什么 / 100 4.3.3 如何建设统一数据模型 / 101 4.4 对维度建模进一步探索 / 113 4.4.1 维度建模设计过程 / 114 4.4.2 维度建模示例 / 116 4.5 统一建模的注意事项 / 118 4.5.1 数据标准化只停留在数据部门 / 118 4.5.2 缺少元数据管理支持 / 119 4.5.3 监控体系缺失 / 120 4.5.4 事实表的设计注意事项 / 120 4.5.5 维度爆炸 / 121 4.5.6 对维度过度退化 / 121 4.5.7 缓慢变化维 / 122 4.5.8 大表的抽取 / 123 4.6 总结 / 124 第5章 数据计算平台：让数据“飞”起来 / 125 5.1 计算平台的应用场景 / 126 5.2 应用场景一：批处理 / 128 5.2.1 批处理计算引擎介绍 / 128 5.2.2 批处理计算引擎应用举例 / 131 5.2.3 批处理计算总结 / 132 5.3 应用场景二：实时计算 / 133 5.3.1 实时计算流程介绍 / 133 5.3.2 实时计算和离线计算如何高效共存 / 134 5.3.3 实时数据仓库 / 136 5.3.4 流式计算实时统计GMV示例 / 138 5.4 应用场景三：实时查询 / 140 5.5 应用场景四：海量日志和信息检索 / 140 5.5.1 检索方案介绍 / 140 5.5.2 日志检索方案示例 / 142 5.6 应用场景五：多维分析 / 145 5.6.1 多维分析方案介绍 / 145 5.6.2 基于ClickHouse实现多维分析示例 / 146 5.7 应用场景六：图计算 / 148 5.7.1 图计算框架介绍 / 148 5.7.2 图计算应用案例——团体反欺诈 / 149 5.8 应用场景七：人工智能计算框架 / 151 5.8.1 主流的人工智能计算框架介绍 / 151 5.8.2 量子计算 / 152 5.8.3 人工智能平台应用案例——智能客服 / 153 第6章 算法即服务：优选化实现数据价值 / 155 6.1 算法的价值 / 156 6.2 建模标准化流程 / 158 6.2.1 业务理解贯穿始终 / 159 6.2.2 数据准备 / 160 6.2.3 数据预处理 / 165 6.2.4 特征工程 / 168 6.2.5 模型构建 / 173 6.2.6 模型评估 / 186 6.2.7 模型部署，让模型服务化 / 192 6.2.8 模型监控和迭代 / 196 6.3 算法即服务应用实践 / 196 6.3.1 保险关系网络分析 / 197 6.3.2 交叉销售 / 201 6.3.3 反欺诈示例 / 206 6.4 算法即服务须遵循的原则 / 212 6.4.1 算法即服务需要业务知识的输入，业务理解贯穿 建模始终 / 213 6.4.2 算法不是万能的，有适用的场景 / 213 6.4.3 要合理地平衡算法的计算性能和效果 / 213 6.4.4 要优先选择混合模型 / 214 6.4.5 要尽量实现建模全流程自动化 / 214 第7章 数据产品：让数据应用更便捷 / 215 7.1 自助取数和自助分析 / 216 7.1.1 自助取数工具 / 217 7.1.2 自助分析工具 / 219 7.2 数据爬虫 / 221 7.3 客户画像 / 221 7.4 标签圈选 / 222 7.5 客户分群 / 224 7.6 数据可视化工具 / 226 7.6.1 Matplotlib / 227 7.6.2 Pandas+Seaborn举例 / 231 7.7 规则引擎 / 232 第8章 营销中台：让营销更精准、更及时 / 235 8.1 数字化营销是大势所趋 / 236 8.2 营销体系升级 / 239 8.2.1 营销理论的多次升级 / 239 8.2.2 营销的几个重要的方法论 / 243 8.2.3 营销体系的三个发展阶段 / 246 8.3 营销中台建设 / 254 8.3.1 营销中台框架图 / 254 8.3.2 营销中台功能介绍 / 255 8.4 营销中台应用案例 / 263 8.4.1 电话营销续保精准营销 / 263 8.4.2 广告精准投放获客+线索转化 / 266 8.4.3 保险智能销售助手 / 268 第9章 风险管理中台：360°的风险管家 / 271 9.1 风险管理中台 / 272 9.1.1 汽车保险的主要风险管理节点示例 / 272 9.1.2 风险管理中台框架图 / 273 9.1.3 风险管理中台功能介绍 / 273 9.1.4 风险管理的标准化流程 / 289 9.2 风险管理中台的应用案例 / 292 9.2.1 反“薅羊毛” / 292 9.2.2 语音质检风险筛查 / 292 9.2.3 车险理赔反欺诈 / 293 9.2.4 团体保险风险管理体系 / 295 9.2.5 人身险风险管理建设 / 296