机工 数据挖掘:实用机器学习工具与技术(原书第4版) [新西兰]伊恩 H. 威腾(Ian H. Witten) 埃贝·

-----
本书是数据挖掘和机器学习领域的经典畅销教材，被国内外众多名校选用。第4版全面反映了该领域的最新技术变革，包括关于概率方法和深度学习的重要新章节。此外，备受欢迎的机器学习软件Weka再度升级，读者可以在友好的交互界面中执行数据挖掘任务。书中的基础知识清晰详细，实践工具和技术指导具体实用，不仅适合作为高等院校相关专业的本科生或研究生教材，也可供广大技术人员参考。
-----
译者序 前言 致谢 第一部分　数据挖掘基础 第1章　绪论 2 1.1　数据挖掘和机器学习 2 1.1.1　描述结构模式 3 1.1.2　机器学习 5 1.1.3　数据挖掘 6 1.2　简单的例子：天气问题和其他问题 6 1.2.1　天气问题 6 1.2.2　隐形眼镜：一个理想化的问题 8 1.2.3　鸢尾花：一个经典的数值型数据集 9 1.2.4　CPU性能：引入数值预测 10 1.2.5　劳资协商：一个更真实的例子 11 1.2.6　大豆分类：一个经典的机器学习的成功例子 12 1.3　应用领域 14 1.3.1　Web挖掘 14 1.3.2　包含判断的决策 15 1.3.3　图像筛选 15 1.3.4　负载预测 16 1.3.5　诊断 17 1.3.6　市场和销售 17 1.3.7　其他应用 18 1.4　数据挖掘过程 19 1.5　机器学习和统计学 20 1.6　将泛化看作搜索 21 1.6.1　枚举概念空间 22 1.6.2　偏差 22 1.7　数据挖掘和道德问题 24 1.7.1　再识别 24 1.7.2　使用个人信息 25 1.7.3　其他问题 26 1.8　拓展阅读及参考文献 26 第2章　输入：概念、实例和属性 29 2.1　概念 29 2.2　实例 31 2.2.1　关系 31 2.2.2　其他实例类型 34 2.3　属性 35 2.4　输入准备 36 2.4.1　数据收集 37 2.4.2　ARFF格式 37 2.4.3　稀疏数据 39 2.4.4　属性类型 40 2.4.5　缺失值 41 2.4.6　不正确的值 42 2.4.7　非均衡数据 42 2.4.8　了解数据 43 2.5　拓展阅读及参考文献 43 第3章　输出：知识表达 44 3.1　表 44 3.2　线性模型 44 3.3　树 46 3.4　规则 49 3.4.1　分类规则 49 3.4.2　关联规则 52 3.4.3　包含例外的规则 53 3.4.4　表达能力更强的规则 54 3.5　基于实例的表达 56 3.6　聚类 58 3.7　拓展阅读及参考文献 59 第4章　算法：基本方法 60 4.1　推断基本规则 60 4.2　简单概率模型 63 4.2.1　缺失值和数值属性 65 4.2.2　用于文档分类的朴素贝叶斯 67 4.2.3　讨论 68 4.3　分治法：创建决策树 69 4.3.1　计算信息量 71 4.3.2　高度分支属性 73 4.4　覆盖算法：建立规则 74 4.4.1　规则与树 75 4.4.2　一个简单的覆盖算法 76 4.4.3　规则与决策列表 79 4.5　关联规则挖掘 79 4.5.1　项集 80 4.5.2　关联规则 81 4.5.3　高效地生成规则 84 4.6　线性模型 86 4.6.1　数值预测：线性回归 86 4.6.2　线性分类：logistic回归 87 4.6.3　使用感知机的线性分类 89 4.6.4　使用Winnow的线性分类 90 4.7　基于实例的学习 91 4.7.1　距离函数 92 4.7.2　高效寻找最近邻 92 4.7.3　讨论 96 4.8　聚类 96 4.8.1　基于距离的迭代聚类 97 4.8.2　更快的距离计算 98 4.8.3　选择簇的个数 99 4.8.4　层次聚类 100 4.8.5　层次聚类示例 101 4.8.6　增量聚类 102 4.8.7　分类效用 104 4.8.8　讨论 106 4.9　多实例学习 107 4.9.1　聚集输入 107 4.9.2　聚集输出 107 4.10　拓展阅读及参考文献 108 4.11　Weka实现 109 第5章　可信度：评估学习结果 111 5.1　训练和测试 111 5.2　预测性能 113 5.3　交叉验证 115 5.4　其他评估方法 116 5.4.1　留一交叉验证法 116 5.4.2　自助法 116 5.5　超参数选择 117 5.6　数据挖掘方法比较 118 5.7　预测概率 121 5.7.1　二次损失函数 121 5.7.2　信息损失函数 122 5.7.3　讨论 123 5.8　计算成本 123 5.8.1　成本敏感分类 125 5.8.2　成本敏感学习 126 5.8.3　提升图 126 5.8.4　ROC曲线 129 5.8.5　召回率–精确率曲线 130 5.8.6　讨论 131 5.8.7　成本曲线 132 5.9　评估数值预测 134 5.10　最小描述长度原理 136 5.11　将MDL原理应用于聚类 138 5.12　使用验证集进行模型选择 138 5.13　拓展阅读及参考文献 139 第二部分　高级机器学习方案 第6章　树和规则 144 6.1　决策树 144 6.1.1　数值属性 144 6.1.2　缺失值 145 6.1.3　剪枝 146 6.1.4　估计误差率 147 6.1.5　决策树归纳法的复杂度 149 6.1.6　从决策树到规则 150 6.1.7　C4.5：选择和选项 150 6.1.8　成本–复杂度剪枝 151 6.1.9　讨论 151 6.2　分类规则 152 6.2.1　选择测试的标准 152 6.2.2　缺失值和数值属性 153 6.2.3　生成好的规则 153 6.2.4　使用全局优化 155 6.2.5　从局部决策树中获得规则 157 6.2.6　包含例外的规则 158 6.2.7　讨论 160 6.3　关联规则 161 6.3.1　建立频繁模式树 161 6.3.2　寻找大项集 163 6.3.3　讨论 166 6.4　Weka 实现 167 第7章　基于实例的学习和线性模型的扩展 168 7.1　基于实例的学习 168 7.1.1　减少样本集的数量 168 7.1.2　对噪声样本集剪枝 169 7.1.3　属性加权 170 7.1.4　泛化样本集 170 7.1.5　用于泛化样本集的距离函数 171 7.1.6　泛化的距离函数 172 7.1.7　讨论 172 7.2　扩展线性模型 173 7.2.1　最大间隔超平面 173 7.2.2　非线性类边界 174 7.2.3　支持向量回归 176 7.2.4　核岭回归 177 7.2.5　核感知机 178 7.2.6　多层感知机 179 7.2.7　径向基函数网络 184 7.2.8　随机梯度下降 185 7.2.9　讨论 186 7.3　局部线性模型用于数值预测 187 7.3.1　模型树 187 7.3.2　构建树 188 7.3.3　对树剪枝 188 7.3.4　名目属性 189 7.3.5　缺失值 189 7.3.6　模型树归纳的伪代码 190 7.3.7　从模型树到规则 192 7.3.8　局部加权线性回归 192 7.3.9　讨论 193 7.4　Weka实现 194 第8章　数据转换 195 8.1　属性选择 196 8.1.1　独立于方案的选择 197 8.1.2　搜索属性空间 199 8.1.3　具体方案相关的选择 200 8.2　离散化数值属性 201 8.2.1　无监督离散化 202 8.2.2　基于熵的离散化 203 8.2.3　其他离散化方法 205 8.2.4　基于熵和基于误差的离散化 205 8.2.5　将离散属性转换成数值属性 206 8.3　投影 207 8.3.1　主成分分析 207 8.3.2　随机投影 209 8.3.3　偏最小二乘回归 209 8.3.4　独立成分分析 210 8.3.5　线性判别分析 211 8.3.6　二次判别分析 211 8.3.7　Fisher线性判别分析 211 8.3.8　从文本到属性向量 212 8.3.9　时间序列 213 8.4　抽样 214 8.5　数据清洗 215 8.5.1　改进决策树 215 8.5.2　稳健回归 215 8.5.3　检测异常 216 8.5.4　一分类学习 217 8.5.5　离群点检测 217 8.5.6　生成人工数据 218 8.6　将多分类问题转换成二分类问题 219 8.6.1　简单方法 219 8.6.2　误差校正输出编码 220 8.6.3　集成嵌套二分法 221 8.7　校准类概率 223 8.8　拓展阅读及参考文献 224 8.9　Weka实现 226 第9章　概率方法 228 9.1　基础 228 9.1.1　最大似然估计 229 9.1.2　最大后验参数估计 230 9.2　贝叶斯网络 230 9.2.1　预测 231 9.2.2　学习贝叶斯网络 233 9.2.3　具体算法 235 9.2.4　用于快速学习的数据结构 237 9.3　聚类和概率密度估计 239 9.3.1　用于高斯混合模型的期望最大化算法 239 9.3.2　扩展混合模型 242 9.3.3　使用先验分布聚类 243 9.3.4　相关属性聚类 244 9.3.5　核密度估计 245 9.3.6　比较用于分类的参数、半参数和无参数的密度模型 245 9.4　隐藏变量模型 246 9.4.1　对数似然和梯度的期望 246 9.4.2　期望最大化算法 247 9.4.3　将期望最大化算法应用于贝叶斯网络 248 9.5　贝叶斯估计与预测 249 9.6　图模型和因子图 251 9.6.1　图模型和盘子表示法 251 9.6.2　概率主成分分析 252 9.6.3　隐含语义分析 254 9.6.4　使用主成分分析来降维 255 9.6.5　概率LSA 256 9.6.6　隐含狄利克雷分布 257 9.6.7　因子图 258 9.6.8　马尔可夫随机场 260 9.6.9　使用sum-product算法和max-product算法进行计算 261 9.7　条件概率模型 265 9.7.1　概率模型的线性和多项式回归 265 9.7.2　使用先验参数 266 9.7.3　多分类logistic回归 268 9.7.4　梯度下降和二阶方法 271 9.7.5　广义线性模型 271 9.7.6　有序类的预测 272 9.7.7　使用核函数的条件概率模型 273 9.8　时序模型 273 9.8.1　马尔可夫模型和N元法 273 9.8.2　隐马尔可夫模型 274 9.8.3　条件随机场 275 9.9　拓展阅读及参考文献 278 9.10　Weka实现 282 第10章　深度学习 283 10.1　深度前馈网络 284 10.1.1　MNIST评估 284 10.1.2　损失和正则化 285 10.1.3　深层网络体系结构 286 10.1.4　激活函数 287 10.1.5　重新审视反向传播 288 10.1.6　计算图以及复杂的网络结构 290 10.1.7　验证反向传播算法的实现 291 10.2　训练和评估深度网络 292 10.2.1　早停 292 10.2.2　验证、交叉验证以及超参数调整 292 10.2.3　小批量随机梯度下降 293 10.2.4　小批量随机梯度下降的伪代码 294 10.2.5　学习率和计划 294 10.2.6　先验参数的正则化 295 10.2.7　丢弃法 295 10.2.8　批规范化 295 10.2.9　参数初始化 295 10.2.10　无监督的预训练 296 10.2.11　数据扩充和合成转换 296 10.3　卷积神经网络 296 10.3.1　ImageNet评估和深度卷积神经网络 297 10.3.2　从图像滤波到可学习的卷积层 297 10.3.3　卷积层和梯度 300 10.3.4　池化层二次抽样层以及梯度 300 10.3.5　实现 301 10.4　自编码器 301 10.4.1　使用RBM预训练深度自编码器 302 10.4.2　降噪自编码器和分层训练 304 10.4.3　重构和判别式学习的结合 304 10.5　随机深度网络 304 10.5.1　玻尔兹曼机 304 10.5.2　受限玻尔兹曼机 306 10.5.3　对比分歧 306 10.5.4　分类变量和连续变量 306 10.5.5　深度玻尔兹曼机 307 10.5.6　深度信念网络 308 10.6　递归神经网络 309 10.6.1　梯度爆炸与梯度消失 310 10.6.2　其他递归网络结构 311 10.7　拓展阅读及参考文献 312 10.8　深度学习软件以及网络实现 315 10.8.1　Theano 315 10.8.2　Tensor Flow 315 10.8.3　Torch 315 10.8.4　CNTK 315 10.8.5　Caffe 315 10.8.6　DeepLearning4j 316 10.8.7　其他包：Lasagne、Keras以及cuDNN 316 10.9　Weka实现 316 第11章　有监督和无监督学习 317 11.1　半监督学习 317 11.1.1　用以分类的聚类 317 11.1.2　协同训练 318 11.1.3　EM和协同训练 319 11.1.4　神经网络方法 319 11.2　多实例学习 320 11.2.1　转换为单实例学习 320 11.2.2　升级学习算法 321 11.2.3　专用多实例方法 322 11.3　拓展阅读及参考文献 323 11.4　Weka实现 323 第12章　集成学习 325 12.1　组合多种模型 325 12.2　装袋 326 12.2.1　偏差–方差分解 326 12.2.2　考虑成本的装袋 327 12.3　随机化 328 12.3.1　随机化与装袋 328 12.3.2　旋转森林 329 12.4　提升 329 12.4.1　AdaBoost算法 330 12.4.2　提升算法的威力 331 12.5　累加回归 332 12.5.1　数值预测 332 12.5.2　累加logistic回归 333 12.6　可解释的集成器 334 12.6.1　选择树 334 12.6.2　logistic模型树 336 12.7　堆栈 336 12.8　拓展阅读及参考文献 338 12.9　Weka实现 339 第13章　扩展和应用 340 13.1　应用机器学习 340 13.2　从大型的数据集学习 342 13.3　数据流学习 344 13.4　融合领域知识 346 13.5　文本挖掘 347 13.5.1　文档分类与聚类 348 13.5.2　信息提取 349 13.5.3　自然语言处理 350 13.6　Web挖掘 350 13.6.1　包装器归纳 351 13.6.2　网页分级 351 13.7　图像和语音 353 13.7.1　图像 353 13.7.2　语音 354 13.8　对抗情形 354 13.9　无处不在的数据挖掘 355 13.10　拓展阅读及参考文献 357 13.11　Weka实现 359 附录A　理论基础 360 附录B　Weka工作平台 375 索引 388 参考文献

1