[正版书籍]机器学习与应用

1. 内容深入。全书系统地讲解机器学习算法与理论，主要算法的理论讲解透彻、结构清晰，均有详细的推导和证明过程。 部分基本概念与数学知识
章机器学习简介31.1机器学习是什么31.1.1一个简单的例子31.1.2为什么需要机器学习51.2典型应用71.2.1语音识别71.2.2人脸检测81.2.3人机对弈91.2.4机器翻译101.2.5自动驾驶111.3发展历程111.3.1历史成就111.3.2当前进展121.4关于本书13参考文献15
第2章数学知识172.1微积分和线性代数172.1.1导数172.1.2向量与矩阵192.1.3偏导数与梯度212.1.4雅克比矩阵222.1.5Hessian矩阵232.1.6泰勒展开242.1.7行列式242.1.8特征值与特征向量252.1.9奇异值分解262.1.10二次型262.1.11向量与矩阵求导262.2化方法272.2.1梯度下降法272.2.2牛顿法282.2.3坐标下降法292.2.4拉格朗日乘数法302.2.5凸优化302.2.6拉格朗日对偶342.2.7KKT条件362.2.8拟牛顿法372.2.9面临的问题382.3概率论392.3.1随机事件与概率392.3.2条件概率392.3.3随机变量402.3.4数学期望与方差412.3.5随机向量412.3.6似然估计42参考文献43〖1〗〖2〗机器学习与应用〖1〗目录第3章基本概念443.1算法分类443.1.1监督信号443.1.2分类问题与回归问题453.1.3判别模型与生成模型473.1.4强化学习473.2模型评价指标483.2.1精度与召回率483.2.2ROC曲线483.2.3混淆矩阵503.2.4交叉验证503.3模型选择503.3.1过拟合与欠拟合503.3.2偏差与方差分解513.3.3正则化52参考文献54
第二部分主要的机器学习算法与理论
第4章贝叶斯分类器574.1贝叶斯决策574.2朴素贝叶斯分类器584.2.1离散型特征584.2.2连续型特征594.3正态贝叶斯分类器594.3.1训练算法594.3.2预测算法604.4实验程序614.5源代码分析644.5.1主要数据结构644.5.2训练函数654.5.3预测函数684.6应用70参考文献71
第5章决策树725.1树形决策过程725.2分类与回归树735.3训练算法745.3.1递归分裂过程745.3.2寻找分裂745.3.3叶子节点值的设定775.3.4属性缺失问题775.3.5剪枝算法785.4实验程序795.5源代码分析815.5.1主要数据结构815.5.2递归分裂845.5.3寻找分裂905.5.4寻找替代分裂965.5.5变量的重要性995.5.6预测算法1005.6应用103参考文献103
第6章k近邻算法1046.1基本概念1046.2预测算法1046.3距离定义1056.3.1常用距离定义1056.3.2距离度量学习1066.4实验程序1076.5应用109参考文献110
第7章数据降维1117.1主成分分析1117.1.1数据降维问题1117.1.2计算投影矩阵1117.1.3向量降维1147.1.4向量重构1147.2源代码分析1147.2.1主要数据结构1147.2.2计算投影矩阵1157.2.3向量降维1177.2.4向量重构1177.3流形学习1187.3.1局部线性嵌入1197.3.2拉普拉斯特征映射1197.3.3局部保持投影1227.3.4等距映射1237.4应用124参考文献124
第8章线性判别分析1258.1用投影进行分类1258.2投影矩阵1258.2.1一维的情况1258.2.2推广到高维1278.3实验程序1288.4源代码分析1318.4.1主要数据结构1318.4.2计算投影矩阵1328.4.3向量投影1358.4.4向量重构1368.5应用136参考文献137
第9章人工神经网络1389.1多层前馈型神经网络1389.1.1神经元1389.1.2网络结构1399.1.3正向传播算法1409.2反向传播算法1419.2.1一个简单的例子1419.2.2完整的算法1459.3实验程序1499.4理论解释1529.4.1数学性质1529.4.2与神经系统的关系1539.5面临的问题1539.5.1梯度消失1539.5.2退化1549.5.3局部极小值1549.5.4鞍点1549.6实现细节问题1549.6.1输入值与输出值1549.6.2网络规模1559.6.3激活函数1559.6.4损失函数1569.6.5权重初始化1569.6.6正则化1569.6.7学习率的设定1569.6.8动量项1569.7源代码分析1579.7.1主要数据结构1579.7.2激活函数1609.7.3权重初始化1639.7.4训练函数1649.7.5预测函数1779.8应用179参考文献180
0章支持向量机18210.1线性分类器18210.1.1线性分类器概述18210.1.2分类间隔18210.2线性可分的问题18310.2.1原问题18310.2.2对偶问题18410.3线性不可分的问题18710.3.1原问题18710.3.2对偶问题18710.4核映射与核函数19010.5SMO算法19310.5.1求解子问题19310.5.2优化变量的选择19610.6多分类问题19710.7实验程序19810.8源代码分析20010.8.1求解算法20110.8.2主要数据结构20410.8.3求解器21110.9应用222参考文献223
1章线性模型22511.1logistic回归22511.2正则化logistic回归22811.2.1对数似然函数22811.2.2L2正则化原问题22911.2.3L2正则化对偶问题23211.2.4L1正则化原问题23311.2.5实验程序23411.3线性支持向量机23611.3.1L2正则化L1loss SVC原问题23611.3.2L2正则化L2loss SVC原问题23711.3.3L2正则化SVC对偶问题23711.3.4L1正则化L2loss SVC原问题23811.3.5多类线性支持向量机23811.3.6实验程序24011.4源代码分析24111.4.1求解的问题24111.4.2主要数据结构24111.4.3求解器24911.5softmax回归26211.6应用263参考文献264
2章随机森林26612.1集成学习26612.1.1随机抽样26612.1.2Bagging算法26712.2随机森林概述26712.3训练算法26712.4变量的重要性26812.5实验程序26912.6源代码分析27112.6.1主要数据结构27112.6.2训练算法27312.6.3预测算法28212.7应用282参考文献283
3章Boosting算法28413.1AdaBoost算法简介28413.2训练算法28413.3训练误差分析28613.4广义加法模型28813.5各种AdaBoost算法29013.5.1离散型AdaBoost29013.5.2实数型AdaBoost29213.5.3LogitBoost29213.5.4Gentle型AdaBoost29413.6实现细节问题29413.6.1弱分类器的选择29513.6.2弱分类器的数量29513.6.3样本权重削减29513.7实验程序29513.8源代码分析29713.8.1主要数据结构29713.8.2弱分类器30013.8.3强分类器30613.9应用——目标检测31813.9.1VJ框架的原理31913.9.2模型训练321参考文献322
4章深度学习概论32414.1机器学习面临的挑战32414.1.1人工特征32514.1.2机器学习算法32614.2深度学习技术32614.3进展与典型应用32814.3.1计算机视觉32914.3.2语音识别33114.3.3自然语言处理33114.3.4计算机图形学33214.3.5系统33214.3.6深度强化学习33314.4自动编码器33314.4.1自动编码器简介33314.4.2去噪自动编码器33414.4.3稀疏自动编码器33414.4.4收缩自动编码器33514.4.5多层编码器33514.5受限玻尔兹曼机33514.5.1玻尔兹曼分布33514.5.2受限玻尔兹曼机33614.5.3训练算法33814.5.4深度玻尔兹曼机33914.5.5深度置信网339参考文献339
5章卷积神经网络34715.1网络结构34715.1.1卷积层34815.1.2池化层35115.1.3全连接层35115.2训练算法35215.2.1卷积层35215.2.2池化层35515.2.3随机梯度下降法35615.2.4迁移学习35715.3典型网络35715.3.1LeNet5网络35715.3.2AlexNet网络35815.3.3VGG网络35915.3.4GoogLeNet网络36015.4理论分析36115.4.1反卷积运算36115.4.2卷积层可视化36215.4.3理论解释36415.5挑战与改进措施36515.5.1卷积层36515.5.2池化层36515.5.3激活函数36615.5.4损失函数36615.5.5网络结构36615.5.6批量归一化37015.6实际例子37115.6.1LeNet5网络37115.6.2训练自己的模型37315.7源代码分析37415.7.1Caffe简介37415.7.2数据层37615.7.3卷积层37615.7.4池化层37815.7.5神经元层37815.7.6内积层38415.7.7损失层38615.7.8网络的实现——Net类39615.7.9求解器39815.8应用——计算机视觉41315.8.1人脸检测41415.8.2通用目标检测41615.8.3人脸关键点定位42515.8.4人脸识别42515.8.5图像分割42815.8.6边缘检测42915.8.7风格迁移43215.8.8图像增强43315.8.9三维视觉43515.8.10目标跟踪43615.9应用——计算机图形学43715.9.1几何模型43815.9.2物理模型43915.9.3纹理合成44015.9.4图像彩色化44115.9.5HDR44215.10应用——自然语言处理44415.10.1文本分类44415.10.2机器翻译444参考文献444
6章循环神经网络45016.1网络结构45016.1.1循环层45016.1.2输出层45116.1.3一个简单的例子45216.1.4深层网络45216.2网络的训练45316.2.1一个简单的例子45316.2.2完整的算法45516.3挑战与改进措施45716.3.1梯度消失45716.3.2长短期记忆模型45816.3.3门控循环单元45916.3.4双向网络45916.4序列预测问题46016.4.1序列标注问题46016.4.2连接主义时序分类46116.4.3序列到序列学习46516.5应用——语音识别46716.5.1语音识别问题46716.5.2隐马尔可夫模型46816.5.3高斯混合模型47416.5.4GMMHMM框架47516.5.5深度模型47516.6应用——自然语言处理47816.6.1中文分词47916.6.2词性标注48016.6.3命名实体识别48016.6.4文本分类48116.6.5自动摘要48316.6.6机器翻译48316.7应用——机器视觉48516.7.1字符识别48516.7.2目标跟踪48616.7.3视频分析488参考文献490
7章生成对抗网络49417.1随机数据生成49417.2生成对抗网络简介49517.2.1生成模型49517.2.2判别模型49617.3模型的训练49617.3.1目标函数49617.3.2训练算法49717.3.3理论分析49817.4应用与改进49917.4.1改进方案50017.4.2典型应用503参考文献505
8章聚类算法50618.1问题定义50618.2层次聚类50718.3基于质心的算法50718.4基于概率分布的算法50818.5基于密度的算法51218.5.1DBSCAN算法51218.5.2OPTICS算法51418.5.3Mean Shift算法51618.6基于图的算法51718.7算法评价指标51818.7.1内部指标51818.7.2外部指标51818.8应用519参考文献519
9章半监督学习52119.1问题假设52119.1.1连续性假设52119.1.2聚类假设52119.1.3流形假设52119.1.4低密度分割假设52119.2启发式算法52219.2.1自训练52219.2.2协同训练52219.3生成模型52219.4低密度分割52319.5基于图的算法52319.6半监督深度学习524参考文献525
第20章强化学习52720.1强化学习简介52720.1.1问题定义52720.1.2马尔可夫决策过程52820.2基于动态规划的算法53220.2.1策略迭代算法53220.2.2价值迭代算法53420.3蒙特卡洛算法53520.3.1算法简介53520.3.2状态价值函数估计53620.3.3动作价值函数估计53720.3.4蒙特卡洛控制53720.4时序差分学习53820.4.1Sarsa算法53820.4.2Q学习53920.5深度强化学习54020.5.1深度Q网络54120.5.2策略梯度算法54420.6应用547参考文献547第三部分工程实践问题
第21章工程实践问题概述55121.1实现细节问题55121.1.1训练样本55121.1.2特征预处理55221.1.3模型选择55221.1.4过拟合问题55221.2安全性问题55321.2.1对抗样本55321.2.2形成原因分析55521.3实现成本问题55621.3.1训练样本量55621.3.2计算与存储成本55621.4深度模型优化55721.4.1剪枝与编码55721.4.2二值化网络55821.4.3卷积核分离562参考文献563
附录A各种机器学习算法的总结565
附录B梯度下降法的演化关系（见5章）569
附录CEM算法的推导（见8章）570......机器学习是当前解决很多人工智能问题的核心技术，深度学习的出现带来了自2012年以来的人工智能复兴。本书是机器学习和深度学习领域的入门与提高教材，系统、深入地讲述机器学习与深度学习的主流方法与理论，并紧密结合工程实践与应用。全书由21章组成，共分为三大部分。～3章为*部分，介绍机器学习的基本原理、所需的数学知识（包括微积分、线性代数、概率论和*化方法），以及机器学习中的核心概念。第4～20章为第二部分，是本书的主体，介绍各种常用的有监督学习算法、无监督学习算法、半监督学习算法和强化学习算法。对于每种算法，从原理与推导、工程实现和实际应用3个方面进行介绍，对于大多数算法，都配有实验程序。第21章为第三部分，介绍机器学习和深度学习算法实际应用时面临的问题，并给出典型的解决方案。此外，附录A给出各种机器学习算法的总结，附录B给出梯度下降法的演化关系，附录C给出EM算法的推导。本书理论推导与证明详细、深入，结构清晰，详细地讲述主要算法的工程实现细节，配以开源库的源代码分析（包括libsvm、liblinear、OpenCV、Caffe等开源库），让读者不仅知其然，还知其所以然，真正理解算法、学会使用算法。对于计算机、人工智能及相关专业的本科生和研究生，这是一本适合入门与系统学习的教材，对于从事人工智能和机器学习产品研发的工程技术人员，本书也具有很强的参考价值。雷明 人工智能学习与实践平台SIGAI的创始人；2009年毕业于清华大学计算机系，获硕士学位，研究方向为机器视觉与机器学习；毕业后曾就职于百度公司，任软件工程师、项目经理。2012年加入zmodo（深圳市智美达科技股份有限公司），任CTO与平台研发中心负责人；2018年2月创立SIGAI，其核心产品为云端实验室与知识库，为人工智能学习与实践提供便捷的一站式服务；在机器学习与深度学习、机器视觉、自然语言处理方向有扎实的理论功底与丰富的学术和产品研发经验，硕士期间曾发表论文数篇。

1