店铺公告

为保障消费者合理购买需求及公平交易机会，避免因非生活消费目的的购买货囤积商品，抬价转售等违法行为发生，店铺有权对异常订单不发货且不进行赔付。异常订单：包括但不限于相同用户ID批量下单，同一用户（指不同用户ID，存在相同/临近/虚构收货地址，或相同联系号码，收件人，同账户付款人等情形的）批量下单（一次性大于5本），以及其他非消费目的的交易订单。 温馨提示：请务必当着快递员面开箱验货，如发现破损，请立即拍照拒收，如验货有问题请及时联系在线客服处理，（如开箱验货时发现破损，所产生运费由我司承担，一经签收即为货物完好，如果您未开箱验货，一切损失就需要由买家承担，所以请买家一定要仔细验货）， 关于退货运费：对于下单后且物流已发货货品在途的状态下，原则上均不接受退货申请，如顾客原因退货需要承担来回运费，如因产品质量问题（非破损问题）可在签收后，联系在线客服。

机器学习 第1版

机器学习是计算机科学与人工智能的重要分支领域. 本书作为该领域的入门教材，在内容上尽可能涵盖机器学习基础知识的各方面. 全书共16 章，大致分为3 个部分：第1 部分（第1～3 章）介绍机器学习的基础知识；第2 部分（第4～10 章）讨论Y些经典而常用的机器学习方法（决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习）；第3 部分（第11～16 章）为进阶知识，内容涉及特征选择与稀疏学习、计算学习理论、半监督学习、概率图模型、规则学习以及强化学习等. 每章都附有习题并介绍了相关阅读材料，以便有兴趣的读者进Y步钻研探索。

本书可作为高等院校计算机、自动化及相关专业的本科生或研究生教材，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考。

机器学习公式详解

周志华老师的《机器学习》（俗称“西瓜书”）是机器学习领域的经典入门教材之Y。本书（俗称“南瓜书”）基于Datawhale 成员自学“西瓜书”时记下的笔记编著而成，旨在对“西瓜书”中重难点公式加以解析，以及对部分公式补充具体的推导细节。 全书共16 章，与“西瓜书”章节、公式对应，每个公式的推导和解析都以本科数学基础的视角进行讲解，希望能够帮助读者达到“理工科数学基础扎实点的大二下学期XS”水P。每章都附有相关阅读材料，以便有兴趣的读者进Y步钻研探索。 本书思路清晰，视角独特，结构合理，可作为高等院校计算机及相关专业的本科生或研究生教材，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考。

机器学习

第1章 1
1.1 引言 1
1.2 基本术 2
1.3 假设空间 4
1.4 归纳偏好 6
1.5 发展历程 10
1.6 应用现状 13
1.7 阅读材料 16
习题 19
参考文献 20
休息Y会儿 22
第2章 模型评估与选择 23 
2.1 经验误差与过拟合 23 
2.2 评估方法 24 
2.2.1 留出法 25 
2.2.2 交叉验Z法 26 
2.2.3 自助法 27 
2.2.4 调参与Z终模型 28 
2.3 性能度量 28 
2.3.1 错误率与精度 29 
2.3.2 查准率、查全率与F1 30 
2.3.3 ROC与AUC 33 
2.3.4 代价敏感错误率与代价曲线 35 
2.4 比较检验 37 
2.4.1 假设检验 37 
2.4.2 交叉验Zt检验 40 
2.4.3 McNemar检验 41 
2.4.4 Friedman检验与后续检验 42 
2.5 偏差与方差 44 
2.6 阅读材料 46 
习题 48 
参考文献 49 
休息Y会儿 51 
第3章 线性模型 53 
3.1 基本形式 53 
3.2 线性回归 53 
3.3 对数几率回归 57 
3.4 线性判别分析 60 
3.5 多分类学习 63 
3.6 类别不P衡问题 66 
3.7 阅读材料 67 
习题 69 
参考文献 70 
休息Y会儿 72 
第4章 决策树 73 
4.1 基本流程 73 
4.2 划分选择 75 
4.2.1 信息增益 75 
4.2.2 增益率 77 
4.2.3 基尼指数 79 
4.3 剪枝处理 79 
4.3.1 预剪枝 80 
4.3.2 后剪枝 82 
4.4 连续与缺失值 83 
4.4.1 连续值处理 83 
4.4.2 缺失值处理 85 
4.5 多变量决策树 88 
4.6 阅读材料 92 
习题 93 
参考文献 94 
休息Y会儿 95 
第5章 神经网络 97 
5.1 神经元模型 97 
5.2 感知机与多层网络 98 
5.3 误差逆传播算法 101 
5.4 全局Z小与局部极小 106 
5.5 其他常见神经网络 108 
5.5.1 RBF网络 108 
5.5.2 ART网络 108 
5.5.3 SOM网络 109 
5.5.4 级联相关网络 110 
5.5.5 Elman网络 111 
5.5.6 Boltzmann机 111 
5.6 深度学习 113 
5.7 阅读材料 115 
习题 116 
参考文献 117 
休息Y会儿 120 
第6章 支持向量机 121 
6.1 间隔与支持向量 121 
6.2 对偶问题 123 
6.3 核函数 126 
6.4 软间隔与正则化 129 
6.5 支持向量回归 133 
6.6 核方法 137 
6.7 阅读材料 139 
习题 141 
参考文献 142 
休息Y会儿 145 
第7章 贝叶斯分类器 147 
7.1 贝叶斯决策论 147 
7.2 极大似然估计 149 
7.3 朴素贝叶斯分类器 150 
7.4 半朴素贝叶斯分类器 154 
7.5 贝叶斯网 156 
7.5.1 结构 157 
7.5.2 学习 159 
7.5.3 推断 161 
7.6 EM算法 162 
7.7 阅读材料 164 
习题 166 
参考文献 167 
休息Y会儿 169 
第8章 集成学习 171 
8.1 个体与集成 171 
8.2 Boosting 173 
8.3 Bagging与随机森林 178 
8.3.1 Bagging 178 
8.3.2 随机森林 179 
8.4 结合策略 181 
8.4.1 P均法 181 
8.4.2 投票法 182 
8.4.3 学习法 183 
8.5 多样性 185 
8.5.1 误差--分歧分解 185 
8.5.2 多样性度量 186 
8.5.3 多样性增强 188 
8.6 阅读材料 190 
习题 192 
参考文献 193 
休息Y会儿 196 
第9章 聚类 197 
9.1 聚类任务 197 
9.2 性能度量 197 
9.3 距离计算 199 
9.4 原型聚类 202 
9.4.1 k均值算法 202 
9.4.2 学习向量量化 204 
9.4.3 高斯混合聚类 206 
9.5 密度聚类 211 
9.6 层次聚类 214 
9.7 阅读材料 217 
习题 220 
参考文献 221 
休息Y会儿 224 
第10章 降维与度量学习 225 
10.1 k近邻学习 225 
10.2 低维嵌入 226 
10.3 主成分分析 229 
10.4 核化线性降维 232 
10.5 流形学习 234 
10.5.1 等度量映射 234 
10.5.2 局部线性嵌入 235 
10.6 度量学习 237 
10.7 阅读材料 240 
习题 242 
参考文献 243 
休息Y会儿 246 
第11章 特征选择与稀疏学习 247 
11.1 子集搜索与评价 247 
11.2 过滤式选择 249 
11.3 包裹式选择 250 
11.4 嵌入式选择与L$_1$正则化 252 
11.5 稀疏表示与字典学习 254 
11.6 压缩感知 257 
11.7 阅读材料 260 
习题 262 
参考文献 263 
休息Y会儿 266 
第12章 计算学习理论 267 
12.1 基础知识 267 
12.2 PAC学习 268 
12.3 有限假设空间 270 
12.3.1 可分情形 270 
12.3.2 不可分情形 272 
12.4 VC维 273 
12.5 Rademacher复杂度 279 
12.6 稳定性 284 
12.7 阅读材料 287 
习题 289 
参考文献 290 
休息Y会儿 292 
第13章 半监督学习 293 
13.1 未标记样本 293 
13.2 生成式方法 295 
13.3 半监督SVM 298 
13.4 图半监督学习 300 
13.5 基于分歧的方法 304 
13.6 半监督聚类 307 
13.7 阅读材料 311 
习题 313 
参考文献 314 
休息Y会儿 317 
第14章 概率图模型 319 
14.1 隐马尔可夫模型 319 
14.2 马尔可夫随机场 322 
14.3 条件随机场 325 
14.4 学习与推断 328 
14.4.1 变量消去 328 
14.4.2 信念传播 330 
14.5 近似推断 331 
14.5.1 MCMC采样 331 
14.5.2 变分推断 334 
14.6 话题模型 337 
14.7 阅读材料 339 
习题 341 
参考文献 342 
休息Y会儿 345 
第15章 规则学习 347 
15.1 基本概念 347 
15.2 序贯覆盖 349 
15.3 剪枝优化 352 
15.4 Y阶规则学习 354 
15.5 归纳逻辑程序设计 357 
15.5.1 Z小Y般泛化 358 
15.5.2 逆归结 359 
15.6 阅读材料 363 
习题 365 
参考文献 366 
休息Y会儿 369 
第16章 强化学习 371 
16.1 任务与奖赏 371 
16.2 $K$-摇臂赌博机 373 
16.2.1 探索与利用 373 
16.2.2 $\epsilon $-贪心 374 
16.2.3 Softmax 375 
16.3 有模型学习 377 
16.3.1 策略评估 377 
16.3.2 策略改进 379 
16.3.3 策略迭代与值迭代 381 
16.4 免模型学习 382 
16.4.1 蒙特卡罗强化学习 383 
16.4.2 时序差分学习 386 
16.5 值函数近似 388 
16.6 模仿学习 390 
16.6.1 直接模仿学习 391 
16.6.2 逆强化学习 391 
16.7 阅读材料 393 
习题 394 
参考文献 395 
休息Y会儿 397 
附录 399 
A 矩阵 399 
B 优化 403 
C 概率分布 409 
后记 417 
索引 419 

机器学习公式详解

序（王斌 小米AI 实验室主任、NLP &席科学家） 
前言 
主要符号表 

第 1章 绪论 
式(1.1) 
式(1.2) 

第 2章 模型评估与选择 
式(2.20) 
式(2.21) 
式(2.27) 
式(2.41) 
附注 
参考文献 

第3章 线性模型 
式(3.5) 
式(3.6) 
式(3.7) 
式(3.10) 
式(3.27) 
式(3.30) 
式(3.32) 
式(3.37) 
式(3.38) 
式(3.39) 
式(3.43) 
式(3.44) 
式(3.45) 

第4章 决策树 
式(4.1) 
式(4.2) 
式(4.6) 
式(4.7) 
式(4.8) 
附注 
参考文献 

第5章 神经网络 
式(5.2) 
式(5.10) 
式(5.12) 
式(5.13) 
式(5.14) 
式(5.15) 
ii j 目录 
式(5.20) 
式(5.22) 
式(5.23) 
式(5.24) 
附注 
参考文献 

第6章 支持向量机 
式(6.9) 
式(6.10) 
式(6.11) 
式(6.13) 
式(6.35) 
式(6.37) 
式(6.38) 
式(6.39) 
式(6.40) 
式(6.41) 
式(6.52) 
式(6.60) 
式(6.62) 
式(6.63) 
式(6.65) 
式(6.66) 
式(6.67) 
式(6.70) 
附注 
参考文献 

第7章 贝叶斯分类器 
式(7.5) 
式(7.6) 
式(7.12) 
式(7.13) 
式(7.19) 
式(7.20) 
式(7.24) 
式(7.25) 
式(7.27) 
式(7.34) 
附注 
参考文献 

第8章 集成学习 
式(8.1) 
式(8.2) 
式(8.3) 
式(8.4) 
式(8.5) 
式(8.6) 
式(8.7) 
式(8.8) 
式(8.9) 
式(8.10) 
式(8.11) 
式(8.12) 
式(8.13) 
式(8.14) 
式(8.16) 
式(8.17) 
式(8.18) 
式(8.19) 
式(8.20) 
式(8.21) 
式(8.22) 
式(8.23) 
式(8.24) 
式(8.25) 
式(8.26) 
式(8.27) 
式(8.28) 
式(8.29) 
式(8.30) 
式(8.31) 
式(8.32) 
式(8.33) 
式(8.34) 
式(8.35) 
式(8.36) 

第9章 聚类 
式(9.5) 
式(9.6) 
式(9.7) 
式(9.8) 
式(9.33) 
式(9.34) 
式(9.35) 
式(9.38) 

第 10章 降维与度量学习 
式(10.1) 
式(10.2) 
式(10.3) 
式(10.4) 
式(10.5) 
式(10.6) 
式(10.10) 
式(10.14) 
式(10.17) 
式(10.24) 
式(10.28) 
式(10.31) 

第 11章 特征选择与稀疏学习 
式(11.1) 
式(11.2) 
式(11.5) 
式(11.6) 
式(11.7) 
式(11.10) 
式(11.11) 
式(11.12) 
式(11.13) 
式(11.14) 
式(11.15) 
式(11.16) 
式(11.17) 
式(11.18) 

第 12章 计算学习理论 
式(12.1) 
式(12.2) 
式(12.3) 
式(12.4) 
式(12.5) 
式(12.7) 
式(12.9) 
式(12.10) 
式(12.11) 
式(12.12) 
式(12.13) 
式(12.14) 
式(12.15) 
式(12.16) 
式(12.17) 
式(12.18) 
式(12.19) 
式(12.20) 
式(12.21) 
式(12.22) 
式(12.23) 
式(12.24) 
式(12.25) 
式(12.26) 
式(12.27) 
式(12.28) 
式(12.29) 
式(12.30) 
式(12.31) 
式(12.32) 
式(12.34) 
式(12.36) 
式(12.37) 
式(12.38) 
式(12.39) 
式(12.40) 
式(12.41) 
式(12.42) 
式(12.43) 
式(12.44) 
式(12.45) 
式(12.46) 
式(12.52) 
式(12.53) 
式(12.57) 
式(12.58) 
式(12.59) 
式(12.60) 
参考文献 

第 13章 半监督学习 
式(13.1) 
式(13.2) 
式(13.3) 
式(13.4) 
式(13.5) 
式(13.6) 
式(13.7) 
式(13.8) 
式(13.9) 
式(13.12) 
式(13.13) 
式(13.14) 
式(13.15) 
式(13.16) 
式(13.17) 
式(13.20) 

第 14章 概率图模型 
式(14.1) 
式(14.2) 
式(14.3) 
式(14.4) 
式(14.7) 
式(14.8) 
式(14.9) 
式(14.10) 
式(14.14) 
式(14.15) 
式(14.16) 
式(14.17) 
式(14.18) 
式(14.19) 
式(14.20) 
式(14.22) 
式(14.26) 
式(14.27) 
式(14.28) 
式(14.29) 
式(14.30) 
式(14.31) 
式(14.32) 
式(14.33) 
式(14.34) 
式(14.35) 
式(14.36) 
式(14.37) 
式(14.38) 
式(14.39) 
式(14.40) 
式(14.41) 
式(14.42) 
式(14.43) 
式(14.44) 

第 15章 规则学习 
式(15.2) 
式(15.3) 
式(15.6) 
式(15.7) 
式(15.9) 
式(15.10) 
式(15.11) 
式(15.12) 
式(15.13) 
式(15.14) 
式(15.16) 

第 16章 强化学习 
式(16.2) 
式(16.3) 
式(16.4) 
式(16.7) 
式(16.8) 
式(16.10) 
式(16.14) 
式(16.16) 
式(16.31)