正版 机器学习从原理到应用 编者:卿来云//黄庆明|责编:祝智敏 人

01 机器学习简介
1.1 什么是机器学习
1.2 机器学习简史
1.3 机器学习任务的类型
1.3.1 监督学习
1.3.2 无监督学习
1.4 机器学习项目的一般步骤
1.5 模型评估
1.5.1 交叉验证
1.5.2 超参数调优
1.6 本章小结
1.7 习题
02 线性回归
2.1 线性回归简介
2.2 线性回归模型的目标函数
2.2.1 回归模型的损失函数
2.2.2 线性回归模型的正则函数
2.3 线性回归模型的优化求解
2.3.1 解析求解法
2.3.2 梯度下降法
2.3.3 坐标轴下降法
2.4 回归任务的性能指标
2.5 线性回归模型的超参数调优
2.6 案例分析1：广告费用与销量预测
2.7 案例分析2：共享单车骑行量预测
2.8 本章小结
2.9 习题
03 Logistic回归
3.1 Logistic回归模型
3.2 Logistic回归模型的目标函数
3.3 Logistic回归目标函数优化求解
3.3.1 梯度下降法
3.3.2 牛顿法
3.3.3 拟牛顿法
3.4 多类分类任务
3.5 分类任务的性能指标
3.6 数据不均衡分类问题
3.6.1 重采样
3.6.2 代价敏感学习
3.7 案例分析：奥拓商品分类
3.8 本章小结
3.9 习题
04 SVM
4.1 SVM的基本型
4.1.1 最大间隔
4.1.2 SVM的对偶问题
4.2 带松弛因子的SVM
4.3 合页损失函数
4.4 核方法
4.4.1 核技巧
4.4.2 核函数构造
4.5 SVM优化求解：SMO
4.5.1 SMO算法原理
4.5.2 对原始解进行修剪
4.5.3 α选择
4.5.4 更新截距项b
4.5.5 SMO小结
4.6 支持向量回归
4.6.1 不敏感损失函数
4.6.2 支持向量回归
4.7 案例分析1：奥拓商品分类
4.8 案例分析2：共享单车骑行量预测
4.9 本章小结
4.10 习题
05 生成式分类器
5.1 生成式分类器
5.2 贝叶斯规则
5.2.1 贝叶斯公式
5.2.2 朴素贝叶斯分类器
5.2.3 朴素贝叶斯分类器的训练
5.2.4 案例分析1：奥拓商品分类
5.2.5 案例分析2：新闻分类
5.3 高斯判别分析
5.3.1 高斯判别分析的基本原理
5.3.2 高斯判别分析的模型训练
5.3.3 案例分析3：MNIST手写数字识别
5.4 本章小结
5.5 习题
06 决策树
6.1 决策树基本原理
6.2 建树
6.2.1 ID3和C4.5
6.2.2 CART
6.3 剪枝
6.4 提前终止
6.5 案例分析1：蘑菇分类
6.6 案例分析2：共享单车骑行量预测
6.7 本章小结
6.8 习题
07 集成学习
7.1 误差的偏差-方差分解
7.1.1 点估计的偏差-方差分解
7.1.2 预测误差的偏差-方差分解
7.2 Bagging
7.3 随机森林
7.3.1 随机森林的基本原理
7.3.2 案例分析：奥拓商品分类
7.4 梯度提升
7.5 XGBoost
7.5.1 XGBoost基本原理
7.5.2 XGBoost优化
7.5.3 XGBoost使用指南
7.5.4 案例分析：奥拓商品分类
7.6 LightGBM
7.6.1 基于直方图的决策树构造算法
7.6.2 直方图加速：基于梯度的单边采样算法
7.6.3 直方图加速：互斥特征捆绑算法
7.6.4 支持离散型特征
7.6.5 带深度限制的按叶子生长策略
7.6.6 案例分析：奥拓商品分类
7.7 融合
7.8 本章小结
7.9 习题
08 神经网络结构
8.1 神经元的基本结构
8.2 前馈全连接神经网络
8.3 卷积神经网络
8.3.1 卷积层
8.3.2 池化层
8.3.3 CNN示例：AlexNet
8.4 循环神经网络
8.4.1 简单循环神经网络
8.4.2 长短时记忆网络
8.5 残差神经网络
8.6 丢弃法
8.7 本章小结
8.8 习题
09 深度神经模型训练
9.1 梯度计算：反向传播
9.1.1 微积分中的链式法则
9.1.2 计算图和反向传播
9.1.3 DNN的反向传播算法
9.1.4 DNN的计算图
9.1.5 CNN的反向传播算法
9.1.6 循环神经网络的反向传播算法
9.2 激活函数
9.3 深度学习中的优化算法
9.3.1 动量法
9.3.2 自适应学习率
9.4 权重初始化
9.5 减弱过拟合策略
9.6 案例分析：MNIST手写数字识别
9.7 本章小结
9.8 习题
10 降维
10.1 主成分分析
10.2 自编码器
10.3 多维缩放
10.4 等度量映射
10.5 局部线性嵌入
10.6 拉普拉斯特征映射
10.7 基于T分布的随机邻域嵌入
10.8 案例分析：MNIST数据集
10.9 本章小结
10.10 习题
11 聚类
11.1 聚类算法的性能指标
11.1.1 外部指标
11.1.2 内部指标
11.2 相似性度量
11.3 K均值聚类
11.4 高斯混合模型
11.5 层次聚类
11.5.1 凝聚式层次聚类
11.5.2 分裂式层次聚类
11.6 均值漂移聚类
11.7 DBSCAN
11.8 基于密度峰值的聚类
11.9 基于深度学习的聚类
11.10 案例分析：MNIST数据集聚类
11.11 本章小结
11.12 习题
附录
A 奇异值分解
A.1 特征值和特征向量
A.2 SVD的定义
B 拉格朗日乘子法和卡罗需-库恩-塔克条件
B.1 拉格朗日乘子法
B.2 为什么拉格朗日乘子法能够求得最优值
B.3 KKT条件
C 对偶问题
C.1 原始问题
C.2 对偶问题
C.3 原始问题和对偶问题的关系
参考文献

卿来云 中国科学院研究生院计算机博士，中国科学院大学计算机学院教授，长期从事机器学习、计算机视觉和数据压缩方面的科研与教学工作，主要研究领域涉及机器学习、图像识别和视频内容分析等。 黄庆明 中国科学院大学讲席教授、博导，国家杰出青年科学基金获得者，百千万人才工程重量人选，被授予“有突出贡献中青年专家”荣誉称号，享受国务院政府特殊津贴。IEEE Fellow，IEEE CASS北京分会主席，CCF理事，CCF会士，北京市图像图形学会副理事长。主要研究方向涉及机器学习、计算机视觉、多媒体计算、图像与视频分析、模式识别等。主持国家重点研发计划、973课题等项目20余项，多次获得省部级科技奖励。

本书共11章，主要介绍机器学习的基本概念和两大类常用的机器学习模型，即监督学习模型和非监督学习模型。针对监督学习模型，本书介绍了线性模型（线性回归、Logistic回归）、非线性模型（SVM、生成式分类器、决策树）、集成学习模型和神经网络模型及其训练；针对非监督学习模型，本书讲解了常用的降维技术（线性降维技术与非线性降维技术）和聚类算法（如均值聚类、GMM、层次聚类、均值漂移聚类、DBSCAN和基于密度峰值的聚类等）。
本书可作为高等院校计算机应用、人工智能等专业的机器学习相关课程的教材，也可作为计算机应用与人工智能等领域从业人员的学习参考用书。

（1）本书系统而详细地介绍了常用的机器学习模型。对于每个机器学习模型，介绍了模型的表示形式、目标函数（损失函数和正则项）、优化方法、模型评估和超参数调优、以及模型的应用案例。 （2）本书模型原理和优化方法中涉及的公式推导详尽，可极大程度减少读者额外的工作。 （3）本书案例分析中，选用了Kaggle平台上提供的数据，代码给出了机器学习项目的完整步骤，包括对数据的探索式分析、特征工程、模型训练、超参数调优和模型应用。