正版新书]贝叶斯推理与机器学习[英]大卫·巴伯(David Barber)978

译者序<br />前言<br />符号表<br />BRML工具箱第一部分  概率模型中的推断第1章  概率推理3  1.1  概率知识复习3<br />    1.1.1  条件概率5<br />    1.1.2  概率表7<br />  1.2  概率推理8<br />  1.3  先验、似然与后验14<br />    1.3.1  两枚骰子：各自的分数是<br />多少15<br />  1.4  总结18<br />  1.5  代码18<br />    1.5.1  基础概率代码18<br />    1.5.2  通用工具20<br />    1.5.3  示例20<br />  1.6  练习题20第2章  图的基础概念23  2.1  图23<br />  2.2  图的数值表示25<br />    2.2.1  边表25<br />    2.2.2  邻接矩阵25<br />    2.2.3  团矩阵26<br />  2.3  总结26<br />  2.4  代码26<br />    2.4.1  实用程序26<br />  2.5  练习题27第3章  信念网络29  3.1  结构化的优势29<br />    3.1.1  独立性建模29<br />    3.1.2  降低说明的负担32<br />  3.2  不确定性和不可靠的证据33<br />    3.2.1  不确定性证据33<br />    3.2.2  不可靠证据35<br />  3.3  信念网络36<br />    3.3.1  条件独立性37<br />    3.3.2  对撞的影响38<br />    3.3.3  图路径独立性操作41<br />    3.3.4  d-分离41<br />    3.3.5  图和分布的独立性与<br />相关性42<br />    3.3.6  信念网络中的马尔可夫<br />等价性43<br />    3.3.7  信念网络的有限表达性43<br />  3.4  因果关系44<br />    3.4.1  辛普森悖论45<br />    3.4.2  do算子46<br />    3.4.3  影响图和do算子47<br />  3.5  总结47<br />  3.6  代码47<br />    3.6.1  简单的推断演示47<br />    3.6.2  条件独立性演示48<br />    3.6.3  实用程序48<br />  3.7  练习题48第4章  图模型52  4.1  图模型简介52<br />  4.2  马尔可夫网络52<br />    4.2.1  马尔可夫性质54<br />    4.2.2  马尔可夫随机场55<br />    4.2.3  Hammersley-Clifford理论55<br />    4.2.4  使用马尔可夫网络的条件<br />独立性58<br />    4.2.5  晶格模型58<br />  4.3  链图模型60<br />  4.4  因子图61<br />    4.4.1  因子图中的条件独立性62<br />  4.5  图模型的表达能力63<br />  4.6  总结65<br />  4.7  代码65<br />  4.8  练习题65第5章  树中的有效推断68  5.1  边缘推断68<br />    5.1.1  马尔可夫链中的变量消除和<br />消息传递68<br />    5.1.2  因子图上的和-积算法71<br />    5.1.3  处理证据74<br />    5.1.4  计算边缘似然74<br />    5.1.5  循环问题75<br />  5.2  其他形式的推断75<br />    5.2.1  优选-积75<br />    5.2.2  寻找N个最可能的状态78<br />    5.2.3  最可能的路径和最短的<br />路径79<br />    5.2.4  混合推断82<br />  5.3  多连通图中的推断82<br />    5.3.1  桶消元82<br />    5.3.2  环切条件84<br />  5.4  连续分布中的消息传递84<br />  5.5  总结85<br />  5.6  代码85<br />    5.6.1  因子图示例86<br />    5.6.2  最可能和最短路径86<br />    5.6.3  桶消元86<br />    5.6.4  基于高斯的消息传递86<br />  5.7  练习题86第6章  联结树算法90  6.1  聚类变量90<br />    6.1.1  重参数化90<br />  6.2  团图91<br />    6.2.1  吸收92<br />    6.2.2  团树上的吸收顺序93<br />  6.3  联结树93<br />    6.3.1  运行相交性质94<br />  6.4  为单连通分布构建联结树97<br />    6.4.1  伦理化97<br />    6.4.2  构建团图97<br />    6.4.3  根据团图构建联结树97<br />    6.4.4  为团分配势函数97<br />  6.5  为多连通分布构建联结树98<br />    6.5.1  三角化算法99<br />  6.6  联结树算法及示例102<br />    6.6.1  关于联结树算法的备注102<br />    6.6.2  计算分布的归一化常数103<br />    6.6.3  边缘似然103<br />    6.6.4  联结树算法示例104<br />    6.6.5  Shafer-Shenoy传播105<br />  6.7  寻找最可能的状态106<br />  6.8  重吸收：将联结树转换为有向<br />网络107<br />  6.9  近似的必要性107<br />    6.9.1  宽度有界联结树108<br />  6.10  总结108<br />  6.11  代码108<br />    6.11.1  实用程序109<br />  6.12  练习题109第7章  决策111  7.1  期望效用111<br />    7.1.1  货币效用111<br />  7.2  决策树112<br />  7.3  扩展贝叶斯网络以做出决策114<br />    7.3.1  影响图的语法114<br />  7.4  求解影响图118<br />    7.4.1  影响图上的消息119<br />    7.4.2  使用联结树119<br />  7.5  马尔可夫决策过程122<br />    7.5.1  利用消息传递来优选化期望<br />效用123<br />    7.5.2  贝尔曼方程124<br />  7.6  时间无穷的马尔可夫决策过程…  124<br />    7.6.1  值迭代124<br />    7.6.2  策略迭代125<br />    7.6.3  维度灾难126<br />  7.7  变分推断和规划126<br />  7.8  金融事项128<br />    7.8.1  期权定价和期望效用128<br />    7.8.2  二项式期权定价模型129<br />    7.8.3  很优投资130<br />  7.9  进一步的主题132<br />    7.9.1  部分可观察的MDP132<br />    7.9.2  强化学习133<br />  7.10  总结135<br />  7.11  代码135<br />    7.11.1  偏序下的求和/优选化135<br />    7.11.2  用于影响图的联结树135<br />    7.11.3  派对-朋友示例136<br />    7.11.4  胸部诊断136<br />    7.11.5  马尔可夫决策过程137<br />  7.12  练习题137ⅩⅦ第二部分  学习概率模型第8章  统计机器学习144  8.1  数据的表示144<br />  8.2  分布144<br />    8.2.1  KL散度148<br />    8.2.2  熵和信息149<br />  8.3  经典概率分布149<br />  8.4  多元高斯154<br />    8.4.1  接近平方155<br />    8.4.2  系统反向的条件156<br />    8.4.3  美化和居中157<br />  8.5  指数族157<br />    8.5.1  共轭先验158<br />  8.6  学习分布158<br />  8.7  极大似然的性质160<br />    8.7.1  假设模型正确时的训练160<br />    8.7.2  假设模型不正确时的训练…  161<br />    8.7.3  极大似然和经验分布161<br />  8.8  学习高斯分布161<br />    8.8.1  极大似然训练161<br />    8.8.2  均值和方差的贝叶斯推断…  162<br />    8.8.3  高斯-伽马分布163<br />  8.9  总结165<br />  8.10  代码165<br />  8.11  练习题165第9章  推断学习174  9.1  推断学习简介174<br />    9.1.1  学习硬币的偏向率174<br />    9.1.2  做决策176<br />    9.1.3  连续参数的情况176<br />    9.1.4  连续间隔下的决策177<br />  9.2  贝叶斯方法和第二类极大<br />似然178<br />  9.3  信念网络的极大似然训练178<br />  9.4  贝叶斯信念网络训练181<br />    9.4.1  全局和局部参数独立182<br />    9.4.2  使用Beta先验学习二值<br />变量表183<br />    9.4.3  使用狄利克雷先验学习<br />多变量离散表185<br />  9.5  学习结构187<br />    9.5.1  PC算法188<br />    9.5.2  经验独立190<br />    9.5.3  网络得分191<br />    9.5.4  Chow-Liu树193<br />  9.6  无向模型的极大似然195<br />    9.6.1  似然梯度195<br />    9.6.2  一般表格团势196<br />    9.6.3  可分解的马尔可夫网络197<br />    9.6.4  指数形式的势202<br />    9.6.5  条件随机场203<br />    9.6.6  伪似然205<br />    9.6.7  对结构的学习205<br />  9.7  总结206<br />  9.8  代码206<br />    9.8.1  使用预言的PC算法206<br />    9.8.2  经验条件独立性的示例207<br />    9.8.3  贝叶斯狄利克雷结构学习…  207<br />  9.9  练习题207第10章  朴素贝叶斯210  10.1  朴素贝叶斯和条件独立性210<br />  10.2  使用极大似然进行估计211<br />    10.2.1  二值特征211<br />    10.2.2  多状态变量214<br />    10.2.3  文档分类215<br />  10.3  贝叶斯框架下的朴素贝叶斯…  215<br />  10.4  树增广朴素贝叶斯217<br />    10.4.1  学习树增广朴素贝叶斯<br />网络217<br />  10.5  总结217<br />  10.6  代码218<br />  10.7  练习题218ⅩⅧ第11章  隐变量学习220  11.1  隐变量和缺失数据220<br />    11.1.1  为什么隐/缺失变量会使<br />过程复杂化220<br />    11.1.2  随机缺失假设221<br />    11.1.3  极大似然222<br />    11.1.4  可辨别性问题222<br />  11.2  期望优选化223<br />    11.2.1  变分EM223<br />    11.2.2  经典EM224<br />    11.2.3  信念网络中的应用227<br />    11.2.4  一般情况229<br />    11.2.5  收敛性232<br />    11.2.6  马尔可夫网络中的应用…  232<br />  11.3  EM的扩展233<br />    11.3.1  部分M-步233<br />    11.3.2  部分E-步233<br />  11.4  EM的失败案例234<br />  11.5  变分贝叶斯235<br />    11.5.1  EM是一种特殊的变分<br />贝叶斯237<br />    11.5.2  示例：用于接触石棉-吸烟-<br />患肺癌网络的变分<br />贝叶斯237<br />  11.6  用梯度法优化似然239<br />    11.6.1  无向模型240<br />  11.7  总结240<br />  11.8  代码240<br />  11.9  练习题241第12章  贝叶斯模型选择243  12.1  用贝叶斯方法比较模型243<br />  12.2  例证：掷硬币243<br />    12.2.1  离散参数空间244<br />    12.2.2  连续参数空间245<br />  12.3  奥卡姆剃刀和贝叶斯复杂性<br />惩罚246<br />  12.4  连续情况示例：曲线拟合249<br />  12.5  模型似然近似251<br />    12.5.1  拉普拉斯法251<br />    12.5.2  贝叶斯信息准则252<br />  12.6  结果分析的贝叶斯假设检验…  252<br />    12.6.1  结果分析252<br />    12.6.2  Hindep：模型似然253<br />    12.6.3  Hsame：模型似然254<br />    12.6.4  相关结果分析255<br />    12.6.5  分类器A比B好吗256<br />  12.7  总结258<br />  12.8  代码258<br />  12.9  练习题258第三部分  机器学习第13章  机器学习的概念262  13.1  机器学习的类型262<br />    13.1.1  监督学习262<br />    13.1.2  无监督学习263<br />    13.1.3  其他学习框架264<br />  13.2  监督学习265<br />    13.2.1  效用和损失265<br />    13.2.2  使用经验分布266<br />    13.2.3  贝叶斯决策方法269<br />  13.3  贝叶斯决策和经验决策的<br />比较273<br />  13.4  总结274<br />  13.5  练习题274第14章  最近邻分类276  14.1  像你的邻居那样做276<br />  14.2  K-最近邻277<br />  14.3  最近邻的概率解释279<br />  14.4  总结280<br />  14.5  代码280<br />  14.6  练习题280第15章  无监督的线性降维282  15.1  高维空间——低维流形282<br />  15.2  主成分分析282<br />    15.2.1  推导很优线性重构283<br />    15.2.2  优选方差准则284<br />    15.2.3  PCA算法285<br />    15.2.4  PCA和最近邻分类287<br />    15.2.5  PCA的评价288<br />  15.3  高维数据289<br />    15.3.1  对于N<D的特征分解…  289<br />    15.3.2  通过奇异值分解的PCA…  289<br />  15.4  潜在语义分析290<br />    15.4.1  信息检索292<br />  15.5  带有缺失数据的PCA293<br />    15.5.1  寻找主方向295<br />    15.5.2  使用带有缺失数据的PCA<br />协同过滤295<br />  15.6  矩阵分解方法295<br />    15.6.1  概率潜在语义分析296<br />    15.6.2  拓展和变化300<br />    15.6.3  PLSA/NMF的应用301<br />  15.7  核PCA302<br />  15.8  典型相关分析304<br />    15.8.1  SVD方程305<br />  15.9  总结306<br />  15.10  代码306<br />  15.11  练习题306第16章  有监督的线性降维308  16.1  有监督线性投影308<br />  16.2  Fisher线性判别308<br />  16.3  典型变量310<br />    16.3.1  处理零空间311<br />  16.4  总结313<br />  16.5  代码313<br />  16.6  练习题313ⅩⅨ第17章  线性模型315  17.1  简介：拟合直线315<br />  17.2  线性参数回归模型316<br />    17.2.1  向量输出318<br />    17.2.2  正则化319<br />    17.2.3  径向基函数319<br />  17.3  对偶表示和核322<br />    17.3.1  对偶空间中的回归322<br />  17.4  线性参数分类模型323<br />    17.4.1  逻辑回归324<br />    17.4.2  超越一阶梯度上升328<br />    17.4.3  避免分类过拟合328<br />    17.4.4  多分类328<br />    17.4.5  分类的核技巧329<br />  17.5  支持向量机330<br />    17.5.1  优选间隔线性分类器330<br />    17.5.2  使用核333<br />    17.5.3  执行优化333<br />    17.5.4  概率解释333<br />  17.6  异常值的软0-1鲁棒性损失…  334<br />  17.7  总结335<br />  17.8  代码335<br />  17.9  练习题335第18章  贝叶斯线性模型337  18.1  加性高斯噪声回归337<br />    18.1.1  贝叶斯线性参数模型337<br />    18.1.2  确定超参数：ML-II339<br />    18.1.3  使用EM算法学习<br />超参数340<br />    18.1.4  使用梯度进行超参数<br />优化340<br />    18.1.5  验证似然函数342<br />    18.1.6  预测和模型平均343<br />    18.1.7  稀疏线性模型343<br />  18.2  分类345<br />    18.2.1  超参数优化345<br />    18.2.2  拉普拉斯近似346<br />    18.2.3  变分高斯近似348<br />    18.2.4  局部变分近似349<br />    18.2.5  用于分类的相关向量机…  350<br />    18.2.6  多分类案例351<br />  18.3  总结351<br />  18.4  代码352<br />  18.5  练习题352ⅩⅩ第19章  高斯过程354  19.1  非参数预测354<br />    19.1.1  从参数化到非参数化354<br />    19.1.2  从贝叶斯线性模型到<br />高斯过程355<br />    19.1.3  函数的先验356<br />  19.2  高斯过程预测357<br />    19.2.1  带有噪声的训练集输出<br />回归358<br />  19.3  协方差函数359<br />    19.3.1  从旧的协方差函数中构造<br />新的协方差函数359<br />    19.3.2  平稳协方差函数360<br />    19.3.3  非平稳协方差函数361<br />  19.4  协方差函数的分析362<br />    19.4.1  函数的光滑性362<br />    19.4.2  Mercer核362<br />    19.4.3  对平稳核的傅里叶分析…  363<br />  19.5  用高斯过程分类364<br />    19.5.1  二分类364<br />    19.5.2  拉普拉斯近似365<br />    19.5.3  超参数优化367<br />    19.5.4  多分类367<br />  19.6  总结368<br />  19.7  代码368<br />  19.8  练习题368第20章  混合模型371  20.1  使用混合模型估计密度371<br />  20.2  混合模型的期望优选化372<br />    20.2.1  不受限的离散表373<br />    20.2.2  伯努利分布乘积的混合<br />模型374<br />  20.3  高斯混合模型377<br />    20.3.1  EM算法377<br />    20.3.2  实际问题379<br />    20.3.3  用高斯混合模型做分类381<br />    20.3.4  Parzen估计器382<br />    20.3.5  K-均值383<br />    20.3.6  贝叶斯混合模型383<br />    20.3.7  半监督学习384<br />  20.4  混合专家模型384<br />  20.5  指标模型385<br />    20.5.1  联合指标法：因子分解<br />先验386<br />    20.5.2  Polya先验386<br />  20.6  混合成员模型387<br />    20.6.1  潜在狄利克雷分布387<br />    20.6.2  基于图的数据表示389<br />    20.6.3  成对数据389<br />    20.6.4  一元数据390<br />    20.6.5  一元二值数据的团和邻接<br />矩阵390<br />  20.7  总结394<br />  20.8  代码394<br />  20.9  练习题394第21章  潜线性模型396  21.1  因子分析396<br />    21.1.1  找到很优偏置398<br />  21.2  因子分析：极大似然398<br />    21.2.1  特征方法似然优化398<br />    21.2.2  期望优选化401<br />  21.3  示例：人脸建模402<br />  21.4  概率主成分分析404<br />  21.5  典型相关分析和因子分析406<br />  21.6  独立成分分析407<br />  21.7  总结408<br />  21.8  代码408<br />  21.9  练习题408第22章  潜能力模型410  22.1  Rasch模型410<br />    22.1.1  极大似然训练410<br />    22.1.2  贝叶斯Rasch模型411<br />  22.2  竞争模型412<br />    22.2.1  Bradley-Terry-Luce模型412<br />    22.2.2  Elo排名模型413<br />    22.2.3  Glicko和TrueSkill模型413<br />  22.3  总结413<br />  22.4  代码413<br />  22.5  练习题413第四部分  动态模型第23章  离散状态的马尔可夫<br />模型416  23.1  马尔可夫模型416<br />    23.1.1  马尔可夫链的均衡和平稳<br />分布417<br />    23.1.2  拟合马尔可夫模型418<br />    23.1.3  混合马尔可夫模型418<br />  23.2  隐马尔可夫模型420<br />    23.2.1  经典的推断问题421<br />    23.2.2  滤波p(htv1:t)422<br />    23.2.3  并行平滑p(htv1:T)422<br />    23.2.4  校正平滑423<br />    23.2.5  从p(h1:Tv1:T)中抽样424<br />    23.2.6  最可能的联合状态425<br />    23.2.7  预测425<br />    23.2.8  自定位和被绑架的<br />机器人427<br />    23.2.9  自然语言模型428<br />  23.3  学习HMM429<br />    23.3.1  EM算法429<br />    23.3.2  混合输出430<br />    23.3.3  HMM-GMM模型431<br />    23.3.4  判别训练431<br />  23.4  相关模型432<br />    23.4.1  显式持续时间模型432<br />    23.4.2  输入-输出HMM433<br />    23.4.3  线性链条件随机场434<br />    23.4.4  动态贝叶斯网络435<br />  23.5  应用435<br />    23.5.1  目标跟踪435<br />    23.5.2  自动语音识别435<br />    23.5.3  生物信息学436<br />    23.5.4  词性标注436<br />  23.6  总结436<br />  23.7  代码437<br />  23.8  练习题437ⅩⅩⅠ第24章  连续状态的马尔可夫<br />模型442  24.1  观察到的线性动态系统442<br />    24.1.1  带噪声的平稳分布443<br />  24.2  自回归模型443<br />    24.2.1  AR模型的训练444<br />    24.2.2  作为OLDS的AR模型…  445<br />    24.2.3  时变AR模型445<br />    24.2.4  时变方差AR模型447<br />  24.3  潜线性动态系统448<br />  24.4  推断449<br />    24.4.1  滤波450<br />    24.4.2  平滑:Rauch-Tung-Striebel<br />校正方法452<br />    24.4.3  似然453<br />    24.4.4  最可能的状态454<br />    24.4.5  时间独立性和Riccati<br />方程454<br />  24.5  学习LDS456<br />    24.5.1  可识别性问题456<br />    24.5.2  EM算法456<br />    24.5.3  子空间方法457<br />    24.5.4  结构化LDS458<br />    24.5.5  贝叶斯LDS458<br />  24.6  转换AR模型458<br />    24.6.1  推断459<br />    24.6.2  采用EM学习极大似然…  459<br />  24.7  总结461<br />  24.8  代码461<br />    24.8.1  AR模型461<br />  24.9  练习题462第25章  转换线性动态系统464  25.1  简介464<br />  25.2  转换线性动态系统简介464<br />    25.2.1  准确推断在计算上<br />不可行465<br />  25.3  高斯和滤波465<br />    25.3.1  连续滤波466<br />    25.3.2  离散滤波467<br />    25.3.3  似然p(瘙經1:T)469<br />    25.3.4  高斯退化469<br />    25.3.5  与其他方法的关系469<br />  25.4  高斯和平滑470<br />    25.4.1  连续平滑471<br />    25.4.2  离散平滑471<br />    25.4.3  退化高斯混合471<br />    25.4.4  混合分布平滑472<br />    25.4.5  与其他方法的关系473<br />ⅩⅩⅡ  25.5  重置模型476<br />    25.5.1  泊松重置模型478<br />    25.5.2  重置模型-隐马尔可夫<br />模型-线性动态系统479<br />  25.6  总结480<br />  25.7  代码480<br />  25.8  练习题480第26章  分布式计算483  26.1  简介483<br />  26.2  随机Hopfield网络483<br />  26.3  序列学习484<br />    26.3.1  单个序列484<br />    26.3.2  多个序列489<br />    26.3.3  布尔网络489<br />    26.3.4  序列消歧490<br />  26.4  易处理的连续潜变量模型490<br />    26.4.1  确定性潜变量490<br />    26.4.2  增广Hopfield网络491<br />  26.5  神经模型492<br />    26.5.1  随机激发神经元492<br />    26.5.2  Hopfield膜电位493<br />    26.5.3  动态突触493<br />    26.5.4  抑制和激活模型494<br />  26.6  总结494<br />  26.7  代码495<br />  26.8  练习题495第五部分  近似推断第27章  抽样498  27.1  简介498<br />    27.1.1  单变量抽样499<br />    27.1.2  拒绝抽样500<br />    27.1.3  多变量抽样501<br />  27.2  祖先抽样502<br />    27.2.1  有证据时的情况503<br />  27.3  吉布斯抽样504<br />    27.3.1  作为马尔可夫链的吉布斯<br />抽样504<br />    27.3.2  结构化吉布斯抽样505<br />    27.3.3  备注506<br />  27.4  马尔可夫链蒙特卡罗507<br />    27.4.1  马尔可夫链507<br />    27.4.2  Metropolis-Hastings抽样…  508<br />  27.5  辅助变量法510<br />    27.5.1  混合蒙特卡罗510<br />    27.5.2  Swendson-Wang法512<br />    27.5.3  切片抽样514<br />  27.6  重要性抽样516<br />    27.6.1  序列重要性抽样517<br />    27.6.2  将粒子滤波作为近似前向<br />传播518<br />  27.7  总结521<br />  27.8  代码521<br />  27.9  练习题521第28章  确定性近似推断525  28.1  简介525<br />  28.2  拉普拉斯近似525<br />  28.3  KL变分推断的性质526<br />    28.3.1  归一化常数的界526<br />    28.3.2  边缘分布的界526<br />    28.3.3  边缘量的界527<br />    28.3.4  使用KL散度做高斯<br />近似527<br />    28.3.5  最小化KL(pq)的边缘和<br />矩匹配性质528<br />  28.4  用KL(qp)求解变分界528<br />    28.4.1  配对马尔可夫随机场528<br />    28.4.2  一般的平均场方程532<br />    28.4.3  异步更新能保证近似<br />效果的提升532<br />    28.4.4  结构化的变分近似533<br />  28.5  局部和KL变分近似535<br />    28.5.1  局部近似536<br />    28.5.2  KL变分近似536<br />  28.6  互信息优选化：KL变分<br />方法537<br />    28.6.1  互信息优选化算法538<br />    28.6.2  线性高斯解码器539<br />  28.7  环信念传播539<br />    28.7.1  在无向图中的经典BP<br />算法540<br />    28.7.2  作为变分过程的环信念<br />传播540<br />  28.8  期望传播544<br />  28.9  马尔可夫网络的MAP547<br />    28.9.1  配对马尔可夫网络548<br />    28.9.2  值得关注的二元马尔可夫<br />网络548<br />    28.9.3  Potts模型550<br />  28.10  扩展阅读552<br />  28.11  总结552<br />  28.12  代码552<br />  28.13  练习题552附录  数学基础556参考文献573ⅩⅩⅢ

本书全面介绍贝叶斯推理与机器学习，涉及基本概念、理论推导和直观解释，涵盖各种实用的机器学习算法，包括朴素贝叶斯、高斯模型、马尔可夫模型、线性动态系统等。本书在介绍方法的同时，强调概率层面的理论支持，可帮助读者加强对机器学习本质的认识，尤其适合想要学习机器学习中的概率方法的读者。