[正版新书]机器学习的算法分析和实践 孙健 清华大学出版社 机器学习

本书是一本全面介绍机器学习方法特别是算法的新书，适合初学者和有一定基础的读者。

机器学习可以分成三大类别，监督式学习、非监督式学习和强化学习。三大类别背后的算法也各有不同。监督式学习使用了数学分析中函数逼近方法、概率统计中的极大似然方法。非监督式学习使用了聚类和贝叶斯算法。强化学习使用了马尔可夫决策过程算法。

机器学习背后的数学部分来自概率、统计、数学分析以及线性代数等领域。虽然用到的数学较多，但是最快捷的办法还是带着机器学习的具体问题来掌握背后的数学原理。因为线性代数和概率理论使用较多，本书在最后两章集中把重要的一些概率论和线性代数的内容加以介绍，如果有需要的同学可以参考。另外，学习任何知识，动手练习加深理解的最好方法，所以本书的每一章都配备了习题供大家实践和练习。

复旦大学数学学院教授、 金融研究院量化中心主任。北京大学数学系毕业， 2000年美国芝加哥大学博士毕业。曾担任摩根士丹利固定收益部执行总经理，从事股票类、固定收益类、大宗商品类等衍生品的定价、交易和风险对冲工作。某量化私募基金管理公司创始人和投委会主席。

本书是一本全面介绍机器学习方法特别是算法的新书，适合初学者和有一定基础的读者。

目录

第 1章引论 .............................................................................................1 

1.1什么是机器学习 .............................................................................1 

1.2多项式逼近函数 .............................................................................3 

1.3多项式 Remez算法........................................................................6

习题 ................................................................................................... 10

第 2章感知机模型 ................................................................................. 11 

2.1分类问题的刻画 ........................................................................... 11 

2.2线性规划 ..................................................................................... 15

习题 ................................................................................................... 21

第 3章线性回归..................................................................................... 23 

3.1最小二乘法原理 ........................................................................... 23 

3.2多元高斯分布模型........................................................................ 25 

3.3误差和方差.................................................................................. 26 

3.4岭回归和 Lasso回归 .................................................................... 28

习题 ................................................................................................... 30

第 4章逻辑回归..................................................................................... 31 

4.1逻辑回归概述 .............................................................................. 31 

4.2多重分类线性模型和非线性模型.................................................... 34

习题 ................................................................................................... 35

第 5章决策树模型 ................................................................................. 37 

5.1离散型数据.................................................................................. 37 

5.2熵和决策树的建立........................................................................ 39 

5.3剪枝............................................................................................ 41 

5.4连续型数据.................................................................................. 42 

5.5 CART树 .................................................................................... 43

习题 ................................................................................................... 46 

第 6章生成模型和判别模型 .................................................................... 48 

6.1极大似然估计 .............................................................................. 48 

6.2贝叶斯估计.................................................................................. 50 

6.3线性判别模型 .............................................................................. 51 

6.4多元正态分布 .............................................................................. 53 

6.5 LDA和 LQA .............................................................................. 54

第 7章优化方法..................................................................................... 57 

7.1数值解方程.................................................................................. 57 

7.2光滑函数的极值点........................................................................ 58 

7.3带约束条件的极值问题 ................................................................. 59 

7.4梯度下降法.................................................................................. 61 

7.5凸函数 ........................................................................................ 62 

7.6对偶问题 ..................................................................................... 65 

7.7 Minimax问题 ............................................................................. 66 

7.8 L1过滤....................................................................................... 68

第 8章支持向量机 ................................................................................. 70 

8.1点到平面的距离 ........................................................................... 70 

8.2支持向量机的原理........................................................................ 71 

8.3对偶问题 ..................................................................................... 73 

8.4核函数的方法 .............................................................................. 75 

8.5软性支持向量机 ........................................................................... 77 

8.6支持向量机回归 ........................................................................... 79

习题 ................................................................................................... 80

第 9章神经网络..................................................................................... 81 

9.1简单函数逼近复杂函数 ................................................................. 81 

9.2神经网络结构 .............................................................................. 83

习题 ................................................................................................... 85

第 10章机器学习理论问题 ..................................................................... 87 

10.1问题的提出 ................................................................................ 87 

10.2概率不等式 ................................................................................ 90 

10.3有限假设空间............................................................................. 92 

目录 V 

10.4 No Free Lunch定理 ................................................................... 95 

10.5 VC维度 .................................................................................... 96

习题 ................................................................................................. 104

第 11章集成和提升 ............................................................................. 105 

11.1方差偏度分解........................................................................... 105 

11.2随机森林 ................................................................................. 107 

11.3梯度提升决策树模型................................................................. 108 

11.4 AdaBoost方法 ........................................................................ 111

习题 ................................................................................................. 114

第 12章主成分分析 ............................................................................. 115 

12.1对称矩阵特征值和特征向量....................................................... 115 

12.2矩阵的奇异值分解 .................................................................... 118 

12.3主成分分析 .............................................................................. 119

第 13章 EM算法 ................................................................................ 121 

13.1一个概率问题........................................................................... 121 

13.2混合高斯分布的 EM算法 ......................................................... 123 

13.3一般形式推导........................................................................... 126

习题 ................................................................................................. 127

第 14章隐马尔可夫模型....................................................................... 129 

14.1第一个问题 .............................................................................. 130 

14.2第二个问题 .............................................................................. 133 

14.3第三个问题 .............................................................................. 134 

14.4连续型隐马尔可夫模型 ............................................................. 136

习题 ................................................................................................. 138

第 15章强化学习................................................................................. 140 

15.1马尔可夫价值系统 .................................................................... 140 

15.2马尔可夫价值蒙特卡罗数值解 ................................................... 141 

15.3马尔可夫决策系统 .................................................................... 142 

15.4马尔可夫决策系统最优策略....................................................... 143 

15.5时序差分方法........................................................................... 144 

15.6资格迹..................................................................................... 146 

15.7值函数逼近方法 ....................................................................... 147

习题 ................................................................................................. 149

第 16章概率论基础 ............................................................................. 150 

16.1古典概率论内容 ....................................................................... 150 

16.2连续分布 ................................................................................. 151 

16.3期望 ........................................................................................ 154 

16.4信息和熵 ................................................................................. 155 

16.5大数定律证明........................................................................... 157 

16.6中心极限定理证明 .................................................................... 159

第 17章线性代数基础 .......................................................................... 161 

17.1行列式..................................................................................... 161 

17.2 Cramer法则 ............................................................................ 166 

17.3矩阵初等性质........................................................................... 168 

17.4矩阵的逆 ................................................................................. 171 

17.5矩阵的初等变换 ....................................................................... 172 

17.6伴随矩阵 ................................................................................. 174 

17.7对于矩阵运算求导数................................................................. 175