醉染图书统计学习理论基础97871115552

译者序
前言
章引言：分类、学习、特征及应用
1.1范围
1.2为什么需要机器学习？
1.3一些应用
1.3.1图像识别
1.3.2语音识别
1.3.3医学诊断
1.3.4统计套利
1.4测量、特征和特征向量
1.5概率的需要
1.6监督学习
1.7小结
1.8附录：归纳法
1.9问题
1.10参考文献
第2章概率
2.1一些基本事件的概率
2.2复合事件的概率
.条件概率
2.4不放回抽取
2.5一个经典的生日问题
2.6随机变量
2.7期望值
2.8方差
2.9小结
2.10附录：概率诠释
2.11问题
2.12参考文献
第3章概率密度
3.1一个二维实例
3.2在\（0，1\）区间的随机数
3.3密度函数
3.4高维空间中的概率密度
3.5联合密度和条件密度
3.6期望和方差
3.7大数定律
3.8小结
3.9附录：可测
3.10问题
3.11参考文献
第4章模式识别问题
4.1一个简单例子
4.2决策规则
4.3成功基准
4.4*佳分类器：贝叶斯决策规则
4.5连续特征和密度
4.6小结
4.7附录：不可数概念
4.8问题
4.9参考文献
第5章贝叶斯决策规则
5.1贝叶斯定理
5.2贝叶斯决策规则
5.3及其评论
5.4一个例子
5.5基于密度函数的贝叶斯定理及决策规则
5.6小结
5.7附录：条件概率的定义
5.8问题
5.9参考文献
第6章从实例中学习
6.1概率分布知识的欠缺
6.2训练数据
6.3对训练数据的设
6.4蛮力学习方法
6.5维数灾难、归纳偏置以及无免费午餐原理
6.6小结
6.7附录：学习的类型
6.8问题
6.9参考文献
第7章近邻规则
7.1近邻规则
7.2近邻规则的能
7.3直觉判断与能明框架
7.4使用更多邻域
7.5小结
7.6附录：当人们使用近邻域进行推理时的一些问题
7.6.1谁是单身汉？
7.6.2法律推理
7.6.3道德推理
7.7问题
7.8参考文献
第8章核规则
8.1动机
8.2近邻规则的变体
8.3核规则
8.4核规则的通用一致
8.5势函数
8.6更多的通用核
8.7小结
8.8附录：核、相似和特征
8.9问题
8.10参考文献
第9章神经网络：感知器
9.1多层前馈网络
9.2神经网络用于学习和分类
9.3感知器
9.3.1阈值
9.4感知器学习规则
9.5感知器的表达能力
9.6小结
9.7附录：思想模型
9.8问题
9.9参考文献
0章多层神经网络
10.1多层网络的表征能力
10.2学习及S形输出
10.3训练误差和权值空间
10.4基于梯度下降的误差化
10.5反向传播
10.6反向传播方程的推导
10.6.1单神经元情况下的推导
10.6.2多层网络情况下的推导
10.7小结
10.8附录：梯度下降与反平衡推理
10.9问题
10.10参考文献
1章可能近似正确（PAC）学习
11.1决策规则分类
11.2来自一个类中的规则
11.3可能近似正确准则
11.4PAC学习
11.5小结
11.6附录：识别不可辨元
11.7问题
11.8参考文献
2章VC维
12.1近似误差和估计误差
12.2打散
1.VC维
12.4学习结果
12.5举例
12.6神经网络应用
12.7小结
12.8附录：VC维与波普尔（Popper）维度
12.9问题
12.10参考文献
3章VC维
13.1类层次及修正的PAC准则
13.2失配与复杂间的平衡
13.3学习结果
13.4归纳偏置与简单
13.5小结
13.6附录：均匀收敛与泛致
13.7问题
13.8参考文献
4章函数估计问题
14.1估计
14.2成功准则
14.3估计：回归函数
14.4函数估计中的学习
14.5小结
14.6附录：均值回归
14.7问题
14.8参考文献
5章学习函数估计
15.1函数估计与回归问题回顾
15.2近邻规则
15.3核方法
15.4神经网络学习
15.5基于确定函数类的估计
15.6打散、伪维数与学习
15.7结论
15.8附录：估计中的准确度、精度、偏差及方差
15.9问题
15.10参考文献
6章简明
16.1科学中的简明
16.1.1对简明的明确倡导
16.1.2这个世界简单？ 16.1.3对简明的错误诉求
16.1.4对简明的隐诉求
16.2排序设
16.2.1两种简明排序法
16.3两个实例
16.3.1曲线拟合
16.3.2枚举归纳
16.4简明即表征简明
16.4.1要确定表征系统？ 16.4.2参数越少越简单？ 16.5简明的实理论
16.6简明和全局不确定
16.7小结
16.8附录：基础科学和统计学习理论
16.9问题
16.10参考文献
7章支持向量机
17.1特征向量的映
17.2间隔优选化
17.3优化与支持向量
17.4实现及其与核方法的关联
17.5优化问题的细节
17.5.1改写分离条件
17.5.2间隔方程
17.5.3用于不可分实例的松弛变量
17.5.4优化问题的重构和求解
17.6小结
17.7附录：计算
17.8问题
17.9参考文献
8章集成学习
18.1弱学习规则
18.2分类器组合
18.3训练样本的分布
18.4自适应集成学习算法（AdaBoost）
18.5训练数据的能
18.6泛化能
18.7小结
18.8附录：集成方法
18.9问题
18.10参考文献

桑吉夫·库尔卡尼（Sanjeev Kulkami）博士是普林斯顿大学电气工程系教授，同时也在运筹学与金融工程系及哲学系担任教职。Kulkami博士在统计模式识别、参数估计、机器学习、信息论等领域发表了大量及专著，他是IEEE院士、曾荣获2007年度普林斯顿大学校长杰出教学成果奖。
吉尔伯特·哈曼（Gilbert Harman）博士被评为普林斯顿大学哲学系”詹姆斯麦克唐奈杰出教授”，同时也是认知科学协会不错研究员，他在伦理学、统计学习理论、推理心理学和逻辑学等研究领域发表了五十余篇。

前言本书为新兴领域的统计学习理论提供了一个宽泛和易于理解的入门介绍，这一领域的发展源于对模式识别和机器学习、非参数统计、计算机科学、语言学中的语言学习和认知心理学、哲学问题中的归纳法以及哲学和科学方等学科与技术的研究。 本书是“学习理论与认知论”课程的好的入门教材，目前已在普林斯顿大学电气工程专业的教学中使用。“学习理论与认知论”课程并没有特定的基础要求，向所有对其感兴趣的学生开放，包括新生、主修科学的高年级学生，以及来自工程、人文、社会科学的学生。虽然许多材料技术较强，但是我们发现大部分学生可以体会和领悟本书的要点。 模式识别的工程研究关注的是基于一个有用的方法研发出的自动化系统来区分不同的输入模式。为邮局开发的系统用于如何扫描手写地址并将邮件排序，制造商关注如何设计一个计算机系统把普通的谈话内容进行文字转录，还有诸如计算机能否用来分析医学图像，进而做出诊断等此类问题。 机器学习提供了对一些模式识别问题进行求解的有效方法。它可能是采用受过训练的系统来识别手写邮政编码，或能使自动化系统与用户进行交互使其学会实现对语音的识别；也许是使用机器学习算法来开发一套医学图像分析系统。 机器学习和模式识别也关注学统所包含的一般原则。一种系统化的方技有用，因为我们并不是从无到有开发算法并在每个新的应用程序中特设某一种方式。评估一个学统的能所采用的技术也是重要的。对学习算法的实践环节而言，知道什么是可实现的，什么是可用的评价基准，并提出新的技术也同等重要。 这些问题也出现在认知论与哲学问题中。我们能学到什么？以及我们如何进行学习？我们能够从思想和外部世界学到什么？通过归纳法我们又能学到什么？哲学问题的归纳法关注的是如何在归纳推理的基础上学到一些新东西。而给定的事实是归纳推理前提的真实无法保其结论的真实。这个问题没有解，这并不是因为无解，而是因为有太多解，这取决于采用什么学习方法。在本书中，我们解释了如何根据归纳形成各种不同的解决方案。 因此，我们希望本书能为广大读者在统计学习理论提一个简便的入门介绍。对于那些对学习理论或实际算法的深入研究感兴趣的读者，我们希望本书提供给他们一个有益的出发点。而对于那些对一般的认知论和哲学感兴趣的读者，我们希望本书有于他们从领域中领悟一些重要的想法。对读者而言，我们也希望本书有于他们对统计学习理论有更深层次的理解，因为它揭示了学习的本质及其限制，这也是人工智能的核心进展。 感谢普林斯顿大学教育创新课程发展250周年纪念的资。Rajeev Kulkarni对全书提供了有用的意见。Joel Predd和Maya Gupta提供了许多宝贵的意见。此外，感谢Joshua Harris对本书的仔细审读。同时也感谢几年来，我的教和学生们一起对该课程内容的讨论。谢谢！