正版新书]机器学习中的一阶与随机优化方法(美)蓝光辉9787111724

目  录Firstorder and Stochastic Optimization Methods for Machine Learning译者序<br />前言第1章  机器学习模型 1  1.1  线性回归1<br />  1.2  逻辑回归3<br />  1.3  广义线性模型5<br />    1.3.1  指数分布族5<br />    1.3.2  模型构建5<br />  1.4  支持向量机8<br />  1.5  正则化、Lasso回归和<br />岭回归11<br />  1.6  群体风险最小化11<br />  1.7  神经网络12<br />  1.8  练习和注释14第2章  凸优化理论15  2.1  凸集15<br />    2.1.1  定义和例子15<br />    2.1.2  凸集上的投影16<br />    2.1.3  分离定理17<br />  2.2  凸函数20<br />    2.2.1  定义和例子20<br />    2.2.2  可微凸函数21<br />    2.2.3  不可微凸函数21<br />    2.2.4  凸函数的Lipschitz<br />连续性23<br />    2.2.5  凸优化的很优性条件24<br />    2.2.6  表示定理与核25<br />  2.3  拉格朗日对偶26<br />    2.3.1  拉格朗日函数与<br />对偶性26<br />    2.3.2  强对偶性的证明27<br />    2.3.3  鞍点29<br />    2.3.4  KarushKuhnTucker<br />条件29<br />    2.3.5  对偶支持向量机31<br />  2.4  LegendreFenchel共轭对偶32<br />    2.4.1  凸函数的闭包32<br />    2.4.2  共轭函数33<br />  2.5  练习和注释35第3章  确定性凸优化37  3.1  次梯度下降法37<br />    3.1.1  一般非光滑凸问题38<br />    3.1.2  非光滑强凸问题39<br />    3.1.3  光滑凸问题41<br />    3.1.4  光滑强凸问题42<br />  3.2  镜面下降法43<br />  3.3  加速梯度下降法46<br />  3.4  加速梯度下降法的博弈论<br />解释50<br />  3.5  非光滑问题的光滑方案52<br />  3.6  鞍点优化的原始-对偶方法54<br />    3.6.1  一般双线性鞍点问题57<br />    3.6.2  光滑双线性鞍点问题57<br />    3.6.3  光滑强凸双线性鞍点<br />问题58<br />    3.6.4  线性约束问题59<br />  3.7  乘子交替方向法61<br />  3.8  变分不等式的镜面-邻近<br />方法63<br />    3.8.1  单调变分不等式64<br />    3.8.2  广义单调变分不等式66<br />  3.9  加速水平法68<br />    3.9.1  非光滑、光滑和弱光滑<br />问题68<br />    3.9.2  鞍点问题76<br />  3.10  练习和注释81第4章  随机凸优化83  4.1  随机镜面下降法83<br />    4.1.1  一般非光滑凸函数84<br />    4.1.2  光滑凸问题87<br />    4.1.3  准确性证书90<br />  4.2  随机加速梯度下降法95<br />    4.2.1  无强凸性问题100<br />    4.2.2  非光滑强凸问题103<br />    4.2.3  光滑强凸问题104<br />    4.2.4  准确性证书109<br />  4.3  随机凹凸鞍点问题111<br />    4.3.1  通用算法框架112<br />    4.3.2  极小极大随机问题115<br />    4.3.3  双线性矩阵博弈117<br />  4.4  随机加速原始-对偶方法119<br />    4.4.1  加速原始-对偶方法121<br />    4.4.2  随机双线性鞍点问题129<br />  4.5  随机加速镜面-邻近方法140<br />    4.5.1  算法框架141<br />    4.5.2  收敛性分析142<br />  4.6  随机块镜面下降方法154<br />    4.6.1  非光滑凸优化155<br />    4.6.2  凸复合优化164<br />  4.7  练习和注释171第5章  凸有限和及分布式<br />优化173  5.1  随机原始-对偶梯度法173<br />    5.1.1  多人共轭空间博弈的<br />重新表述176<br />    5.1.2  梯度计算的随机化177<br />    5.1.3  强凸问题的收敛性179<br />    5.1.4  随机化方法的复杂度<br />下界189<br />    5.1.5  对非强凸性问题的<br />推广193<br />  5.2  随机梯度外插法197<br />    5.2.1  梯度外插方法198<br />    5.2.2  确定性有限和问题204<br />    5.2.3  随机有限和问题213<br />    5.2.4  分布式实现218<br />  5.3  降低方差的镜面下降法220<br />    5.3.1  无强凸性的光滑问题223<br />    5.3.2  光滑和强凸问题225<br />  5.4  降低方差加速梯度下降法226<br />    5.4.1  无强凸性的光滑问题229<br />    5.4.2  光滑和强凸问题233<br />    5.4.3  满足错误界条件的<br />问题238<br />  5.5  练习和注释240第6章  非凸优化241  6.1  无约束非凸随机优化法241<br />    6.1.1  随机一阶方法243<br />    6.1.2  随机零阶方法251<br />  6.2  非凸随机复合优化法260<br />    6.2.1  邻近映射的一些性质261<br />    6.2.2  非凸镜面下降法263<br />    6.2.3  非凸随机镜面下降法264<br />    6.2.4  复合问题的随机零阶<br />方法275<br />  6.3  非凸随机块镜面下降法279<br />  6.4  非凸随机加速梯度下降法286<br />    6.4.1  非凸加速梯度下降法287<br />    6.4.2  随机加速梯度下降法298<br />  6.5  非凸降低方差镜面下降法310<br />    6.5.1  确定性问题的基本<br />求解方案310<br />    6.5.2  随机优化问题的推广313<br />  6.6  随机化加速邻近点方法316<br />    6.6.1  非凸有限和问题317<br />    6.6.2  非凸多块问题327<br />  6.7  练习和注释337第7章  无投影方法 338  7.1  条件梯度法338<br />    7.1.1  经典条件梯度339<br />    7.1.2  条件梯度的新变体347<br />    7.1.3  复杂度下界352<br />  7.2  条件梯度滑动法356<br />    7.2.1  确定性条件梯度<br />滑动法357<br />    7.2.2  随机条件梯度滑动法364<br />    7.2.3  鞍点问题的推广372<br />  7.3  非凸条件梯度法375<br />  7.4  随机非凸条件梯度376<br />    7.4.1  有限和问题的基本求解<br />方案376<br />    7.4.2  随机优化问题的推广380<br />  7.5  随机非凸条件梯度滑动法382<br />    7.5.1  Wolfe间隙与投影梯度382<br />    7.5.2  迫使投影梯度减小的<br />无投影法383<br />  7.6  练习和注释385第8章  算子滑动和分散优化387  8.1  复合优化问题的梯度<br />滑动法387<br />    8.1.1  确定性梯度滑动法389<br />    8.1.2  随机梯度滑动法397<br />    8.1.3  强凸和结构化的<br />非光滑问题404<br />  8.2  加速梯度滑动法407<br />    8.2.1  复合光滑优化409<br />    8.2.2  复合双线性鞍点问题421<br />  8.3  通信滑动和分散优化424<br />    8.3.1  问题公式化426<br />    8.3.2  分散通信滑动429<br />    8.3.3  随机分散通信滑动437<br />    8.3.4  高概率结果442<br />    8.3.5  收敛性分析444<br />  8.4  练习和注释451参考文献453