数据科学中的实用统计学(第2版)

目录 第  1章 探索性数据分析  1 1.1  结构化数据的要素  2 1.2  矩形数据  4 1.2.1  数据框和索引  5 1.2.2  非矩形数据结构  6 1.2.3  扩展阅读  6 1.3  位置估计  6 1.3.1  均值  8 1.3.2  中位数和健壮的估计  9 1.3.3  示例：人口和谋杀率的位置估计  10 1.3.4  扩展阅读  11 1.4  变异性估计  11 1.4.1  标准差以及相关估计  13 1.4.2  基于百分位数的估计  14 1.4.3  示例：美国各州人口数量的变异性估计  15 1.4.4  扩展阅读  16 1.5  探索数据分布  16 1.5.1  百分位数与箱线图  17 1.5.2  频数表和直方图  18 1.5.3  密度图和密度估计  20 1.5.4  扩展阅读  22 1.6  探索二元数据和分类型数据  22 1.6.1  众数  24 1.6.2  期望值  24 1.6.3  概率  25 1.6.4  扩展阅读  25 1.7  相关性  25 1.7.1  散点图  28 1.7.2  扩展阅读  29 1.8  探索两个及以上的变量  29 1.8.1  六边形分箱图和等高线图（绘制数值型数据之间的关系）  30 1.8.2  两个分类变量  32 1.8.3  分类型数据和数值型数据  33 1.8.4  多个变量的可视化  35 1.8.5  扩展阅读  37 1.9  小结  37 第  2 章 数据与抽样分布  39 2.1  随机抽样和样本偏差  40 2.1.1  偏差  42 2.1.2  随机选择  43 2.1.3  数量和质量：什么时候数量更重要  44 2.1.4  样本均值与总体均值  45 2.1.5  扩展阅读  45 2.2  选择偏差  45 2.2.1  均值回归  46 2.2.2  扩展阅读  48 2.3  统计量的抽样分布  48 2.3.1  中心极限定理  51 2.3.2  标准误差  51 2.3.3  扩展阅读  52 2.4  Bootstrap 方法  52 2.4.1  重抽样与Bootstrap 方法  55 2.4.2  扩展阅读  55 2.5  置信区间  55 2.6  正态分布  57 2.7  长尾分布  60 2.8  学生的t 分布  62 2.9  二项分布  64 2.10  卡方分布  67 2.11  F 分布  68 2.12  泊松及其相关分布  68 2.12.1  泊松分布  69 2.12.2  指数分布  69 2.12.3  估计故障率  70 2.12.4  韦布尔分布  70 2.12.5  扩展阅读  71 2.13  小结  71 第3  章 统计实验与显著性检验  72 3.1  A/B 测试  73 3.1.1  为什么要有对照组  75 3.1.2  为什么只有A/B，没有C/D……  76 3.1.3  扩展阅读  77 3.2  假设检验  77 3.2.1  零假设  78 3.2.2  备择假设  79 3.2.3  单向假设检验与双向假设检验  79 3.2.4  扩展阅读  80 3.3  重抽样  80 3.3.1  置换检验  80 3.3.2  示例：Web 黏性  81 3.3.3  穷尽置换检验和Bootstrap 置换检验  84 3.3.4  置换检验：数据科学的底线  85 3.3.5  扩展阅读  85 3.4  统计显著性和p 值  85 3.4.1  p 值  88 3.4.2  α  88 3.4.3  第 一类错误和第二类错误  90 3.4.4  数据科学与p 值  9 3.4.5  扩展阅读  90 3.5  t 检验  91 3.6  多重检验  92 3.7  自由度  95 3.8  ANOVA  97 3.8.1  F 统计量  99 3.8.2  双向ANOVA  101 3.8.3  扩展阅读  101 3.9  卡方检验  101 3.9.1  卡方检验：一种重抽样方法  102 3.9.2  卡方检验：统计理论  104 3.9.3  费希尔精确检验  105 3.9.4  与数据科学的关联  107 3.9.5  扩展阅读  107 3.10  多臂老虎机算法  107 3.11  检验力与样本容量  110 3.11.1  样本容量  111 3.11.2  扩展阅读  113 3.12  小结  114 第4  章 回归与预测  115 4.1  简单线性回归  115 4.1.1  回归方程  117 4.1.2  拟合值与残差  119 4.1.3  最小二乘法  120 4.1.4  预测与解释（分析）  121 4.1.5  扩展阅读  121 4.2  多元线性回归  122 4.2.1  示例：金县房屋数据  123 4.2.2  模型评估  124 4.2.3  交叉验证  126 4.2.4  模型选择与逐步回归  127 4.2.5  加权回归  130 4.2.6  扩展阅读  131 4.3  使用回归进行预测  131 4.3.1  外推风险  131 4.3.2  置信区间与预测区间  132 4.4  回归中的因子变量  133 4.4.1  虚拟变量的表示方法  134 4.4.2  多水平因子变量  136 4.4.3  有序因子变量  138 4.5  解释回归方程  138 4.5.1  相关的预测变量  139 4.5.2  多重共线性  140 4.5.3  混淆变量  141 4.5.4  交互作用与主效应  142 4.6  回归诊断  143 4.6.1  离群点  144 4.6.2  强影响值  146 4.6.3  异方差、非正态与相关误差  148 4.6.4  偏残差图与非线性  151 4.7  多项式回归与样条回归  152 4.7.1  多项式回归  153 4.7.2  样条回归  155 4.7.3  广义可加模型  156 4.7.4  扩展阅读  158 4.8  小结  158 第5  章 分类  159 5.1  朴素贝叶斯算法  160 5.1.1  为什么进行精确贝叶斯分类是不现实的  161 5.1.2  朴素贝叶斯问题求解  161 5.1.3  数值型预测变量  164 5.1.4  扩展阅读  164 5.2  判别分析  164 5.2.1  协方差矩阵  165 5.2.2  费希尔线性判别分析  166 5.2.3  一个简单的例子  166 5.2.4  扩展阅读  169 5.3  逻辑回归  169 5.3.1  逻辑响应函数和logit 函数  170 5.3.2  逻辑回归和广义线性模型  171 5.3.3  广义线性模型  172 5.3.4  逻辑回归的预测值  173 5.3.5  系数和优势比的解释  174 5.3.6  线性回归与逻辑回归：共性与差异  175 5.3.7  评估模型  176 5.3.8  扩展阅读  179 5.4  分类模型评估  179 5.4.1  混淆矩阵  180 5.4.2  稀有类问题  182 5.4.3  精确度、召回率和特异度  182 5.4.4  ROC 曲线  183 5.4.5  AUC  185 5.4.6  提升度  186 5.4.7  扩展阅读  187 5.5  非平衡数据的处理策略  187 5.5.1  欠采样  188 5.5.2  过采样与上（下）加权  189 5.5.3  数据生成  190 5.5.4  基于成本的分类  191 5.5.5  探索预测结果  191 5.5.6  扩展阅读  192 5.6  小结  193 第6  章 统计机器学习  194 6.1  KNN  195 6.1.1  一个小例子：预测贷款违约  196 6.1.2  距离的度量  198 6.1.3  独热编码  198 6.1.4  标准化（归一化，z 分数）  199 6.1.5  K 的选择  201 6.1.6  KNN 作为特征引擎  202 6.2  树模型  204 6.2.1  一个简单的例子  205 6.2.2  递归分割算法  207 6.2.3  测量同质性或不纯度  208 6.2.4  让树停止生长  209 6.2.5  预测连续的值  211 6.2.6  如何使用树  211 6.2.7  扩展阅读  212 6.3  装袋法与随机森林  212 6.3.1  装袋法  213 6.3.2  随机森林  213 6.3.3  变量的重要性  217 6.3.4  超参数  220 6.4  提升方法  221 6.4.1  提升算法  222 6.4.2  XGBoost  222 6.4.3  正则化：避免过拟合  225 6.4.4  超参数与交叉验证  228 6.5  小结  231 第7  章 无监督学习  232 7.1  主成分分析  233 7.1.1  一个简单的例子  234 7.1.2  计算主成分  236 7.1.3  解释主成分  236 7.1.4  对应分析  239 7.1.5  扩展阅读  240 7.2  K-均值聚类  241 7.2.1  一个简单的例子  241 7.2.2  K-均值算法  244 7.2.3  簇的解释  245 7.2.4  选择簇的数量  247 7.3  层次聚类  248 7.3.1  一个简单的例子  249 7.3.2  树状图  250 7.3.3  凝聚算法  251 7.3.4  测量相异度  252 7.4  基于模型的聚类  253 7.4.1  多元正态分布  253 7.4.2  混合正态分布  254 7.4.3  选择簇的数量  257 7.4.4  扩展阅读  259 7.5  数据缩放与分类变量  259 7.5.1  缩放变量  260 7.5.2  主导变量  261 7.5.3  分类数据和Gower 距离  263 7.5.4  混合数据聚类中的问题  265 7.6  小结  266 扩展阅读  267 作者介绍  269 封面介绍  269