[正版新书] 集成学习实战 [美] 高塔姆·库纳普利(Gautam Kunapuli)著 郭涛 译 清华大学出版社 机器

集成学习通过自动对比多个模型的输出，将输出结合起来，融合成强大的集成模型，得出最优结果。集成学习发挥“集体智慧”，结果更准确，克服了单一模型的局限性。这种创新方法能够综合多个视角的响应；即使在没有大规模数据集的情况下，也能给出可靠的预测结果。

《集成学习实战》呈现同时应用多种机器学习方法的实用技巧。每章都列举一个独特案例(如医学诊断、情感分析等)，展示一个功能完备的集成方法。本书不探讨深奥的数学知识，所讲内容浅显易懂，代码丰富，供你轻松进行实验！

主要内容

● Bagging法、提升法和梯度提升法

● 分类、回归和检索方法

● 集成方法的模型和决策可解释性

● 特征工程和集成多样性

Gautam Kunapuli拥有逾15年的学术界和机器学习行业经验，重点研究人机协作学习、基于知识和建议的学习算法，以及针对机器学习难题的可扩展学习。

目前，关于集成学习著作比较少，主要是周志华教授团队编写的EnsembleMethods Foundations and Algorithms。不过，该书的出版时间较早(2012年出版英文，2020年出版了中文译著)，未涉及近10年来集成学习的前沿理论和技术；另外该书主要偏向前沿理论，缺少算法实现和案例配套。

《集成学习实战》的引进可谓恰逢其时，填补了集成学习领域著作方面的不足。本书图文并茂地对深奥的集成学习理论和方法进行描述，并结合大量的案例和应用程序，引导读者边思考边实践，从而逐步加深对集成学习的理解，并将这些新方法、新理论和新思想用于自己的研究。本书梳理了集成学习近20年来的前沿理论和技术，主要从集成学习基础知识、集成方式和集成学习数据集制作、特征提取和可解释性三个方面进行了专题讨论，还讨论集成学习理论以及与概率机器学习和深度学习的结合策略。本书包含大量的图、案例以及Python代码实现，读者可以一边阅读一边动手实践。本书面向计算机、人工智能和大数据专业的高年级本科生和研究生，也面向对机器学习与集成学习感兴趣的研究人员和企业工程师。

第I部分 集成学习基础知识

第1章 集成方法：炒作还是福音·      3

1.1 集成方法：集体智慧    4

1.2 关注集成学习原因     6

1.3 单个模型中的拟合度与复杂性    8

1.3.1 决策树回归     8

1.3.2 支持向量回归     12

1.4 第一个集成模型      15

1.5 集成方法的术语和分类      19

1.6 小结      21

第II部分 基本集成方法

第2章 同质并行集成：Bagging法和随机森林     25

2.1 并行集成      26

2.2 Bagging法：Bootstrap结合算法   27

2.2.1 直觉：重采样和模型结合     28

2.2.2 实现Bagging法    31

2.2.3 使用scikit-learn实现Bagging法     33

2.2.4 使用并行化进行更快的训练    35

2.3 随机森林      36

2.3.1 随机决策树      36

2.3.2 使用scikit-learn实现随机森林   38

2.3.3 特征重要性      39

2.4 更多同质并行集成·     40

2.4.1 Pasting      40

2.4.2 随机子空间和random patch法   41

2.4.3 极度随机树      42

2.5 案例研究：乳腺癌诊断      43

2.5.1 加载和预处理     43

2.5.2 Bagging法、随机森林和极度随机树    44

2.5.3 随机森林中的特征重要性     47

2.6 小结      50

第3章 异质并行集成：结合强学习器      53

3.1 异质集成的基础估计器      54

3.1.1 拟合基础估计器      55

3.1.2 基础估计器的单个预测    58

3.2 通过加权结合预测    60

3.2.1 多数投票     62

3.2.2 准确率加权      63

3.2.3 熵加权法     65

3.2.4 Dempster-Shafer结合      67

3.3 通过元学习结合预测      69

3.3.1 Stacking      70

3.3.2 通过交叉验证进行Stacking    74

3.4 案例研究：情感分析      77

3.4.1 预处理      78

3.4.2 降低维度     81

3.4.3 blending分类器    82

3.5 小结      85

第4章 顺序集成：自适应提升     87

4.1 弱学习器的顺序集成      88

4.2 AdaBoost：自适应提升      90

4.2.1 直觉法：使用加权样本进行学习    90

4.2.2 实现AdaBoost     93

4.2.3 使用scikit-learn的AdaBoost    99

4.3 AdaBoost在实践中的应用    101

4.3.1 学习率·       102

4.3.2 早停和剪枝     104

4.4 案例研究：手写数字分类    106

4.4.1 利用 t-SNE降维      107

4.4.2 提升       109

4.5 LogitBoost：使用逻辑损失进行提升    112

4.5.1 逻辑损失函数与指数损失函数    112

4.5.2 将回归作为分类的弱学习算法    113

4.5.3 实现LogitBoost      113

4.6 小结      116

第5章 顺序集成：梯度提升      117

5.1 用梯度下降实现最小化     118

5.1.1 举例说明梯度下降      119

5.1.2 在损失函数上进行梯度下降训练     125

5.2 梯度提升：梯度下降+提升     128

5.2.1 直觉：使用残差学习     128

5.2.2 实现梯度提升    132

5.2.3 使用scikit-learn进行梯度提升     136

5.2.4 基于直方图的梯度提升     138

5.3 LightGBM：梯度提升框架     140

5.3.1 为何将LightGBM称为“轻量级”    140

5.3.2 利用LightGBM进行梯度提升     142

5.4 LightGBM在实践中的应用     143

5.4.1 学习率      143

5.4.2 早停       146

5.4.3 自定义损失函数     148

5.5 案例研究：文档检索     151

5.5.1 LETOR数据集      151

5.5.2 使用LightGBM进行文档检索     153

5.6 小结      156

第6章 顺序集成：牛顿提升      157

6.1 最小化牛顿法      158

6.1.1 举例说明牛顿法     160

6.1.2 训练过程中的损失函数的牛顿下降·     165

6.2 牛顿提升：牛顿法+ Boosting    167

6.2.1 直觉：使用加权残差进行学习    167

6.2.2 直觉：使用正则化损失函数进行学习    170

6.2.3 实现牛顿提升    173

6.3 XGBoost：牛顿提升框架    177

6.3.1 XGBoost的“极端”之处在哪里？    178

6.3.2 XGBoost的牛顿提升     179

6.4 XGBoost实践     181

6.4.1 学习率      181

6.4.2 早停       184

6.5 案例研究：文档检索     185

6.5.1 LETOR数据集      185

6.5.2 使用XGBoost进行文档检索   186

6.6 小结      188

第III部分 集成之外：将集成方法应用于你的数据

第7章 学习连续和计数标签      193

7.1 回归的简要回顾     194

7.1.1 连续标签的线性回归     194

7.1.2 用于计数标签的泊松回归    200

7.1.3 用于分类标签的逻辑回归    203

7.1.4 广义线性模型    204

7.1.5 非线性回归     205

7.2 回归的并行集成     208

7.2.1 随机森林和极度随机树     209

7.2.2 结合回归模型    212

7.2.3 Stacking回归模型     213

7.3 用于回归的顺序集成     214

7.3.1 用于回归的损失和似然函数   216

7.3.2 LightGBM和XGBoost的梯度提升    218

7.4 案例研究：需求预测     221

7.4.1 UCI自行车共享数据集    222

7.4.2 GLM和Stacking·       224

7.4.3 随机森林和极度随机树     227

7.4.4 XGBoost和LightGBM    228

7.5 小结      231

第8章 学习分类特征      233

8.1 编码分类特征      234

8.1.1 分类特征的类型     235

8.1.2 有序编码和独热编码     235

8.1.3 使用目标统计信息进行编码   238

8.1.4 类别编码器包    244

8.2 CatBoost：有序提升框架    247

8.2.1 有序目标统计和有序提升    247

8.2.2 无意识决策树    249

8.2.3 CatBoost实践    250

8.3 案例研究：收入预测     253

8.3.1 adult数据集     254

8.3.2 创建预处理和建模流程     256

8.3.3 类别编码和集成     259

8.3.4 有序编码和CatBoost提升    261

8.4 编码高基数字符串特征     263

8.5 小结      267

第9章 集成学习可解释性      269

9.1 可解释性的含义     270

9.1.1 黑盒与白盒模型     270

9.1.2 决策树(和决策规则)     273

9.1.3 广义线性模型    276

9.2 案例研究：数据驱动的营销    278

9.2.1 银行营销数据集     279

9.2.2 训练集成      281

9.2.3 树集成中的特征重要性     282

9.3 全局可解释性的黑盒方法    283

9.3.1 排列特征重要性     284

9.3.2 部分依赖图     286

9.3.3 全局代理模型·     289

9.4 适用于局部可解释性的黑盒方法    292

9.4.1 借助LIME的局部代理模型    292

9.4.2 借助SHAP的局部可解释性   296

9.5 白盒集成：训练解释性     302

9.5.1 可解释性提升机     303

9.5.2 EBM实践      306

9.6 小结      309

结语       311