正版新书]强化学习与随机优化陈志平,刘嘉,徐宗本 著 著97875088

《大数据与数据科学专著系列》序

前言

主要符号表

第1章 随机优化与强化学习简介 1

1.1 随机优化 1

1.1.1 两阶段有补偿优化问题 1

1.1.2 两阶段混合整数随机优化 5

1.1.3 多阶段随机优化 7

1.1.4 机会约束规划 10

1.1.5 分布鲁棒随机优化 13

1.2 马氏决策过程 16

1.2.1 马氏决策过程的基本概念 17

1.2.2 决策规则与策略分类 18

1.2.3 性能准则与最优策略 19

1.2.4 最优性方程与算法 22

1.3 强化学习 28

1.3.1 强化学习的基本要素 28

1.3.2 TD类方法 32

1.3.3 策略梯度方法 36

1.3.4 Dyna-Q方法 38

1.4 小结 40

第2章 随机优化的定量稳定性 41

2.1 预备知识 41

2.2 全随机两阶段随机优化问题的定量稳定性 46

2.2.1 模型基本性质 46

2.2.2 定量稳定性结果 50

2.3 风险厌恶全随机两阶段随机优化问题的定量稳定性 53

2.3.1 模型基本性质 54

2.3.2 定量稳定性结果 57

2.4 两阶段混合整数随机优化问题的定量稳定性 61

2.4.1 固定补偿情形 62

2.4.2 随机补偿情形 67

2.5 连续二次全随机补偿的两阶段随机优化问题的定量稳定性 69

2.5.1 模型基本性质 70

2.5.2 定量稳定性结果 72

2.6 混合整数二次补偿的两阶段随机优化问题的定量稳定性 79

2.6.1 模型基本性质 80

2.6.2 定量稳定性结果 82

2.7 多阶段随机优化问题的定量稳定性 86

2.7.1 多阶段随机线性优化模型的基本性质 86

2.7.2 多阶段随机线性优化问题的定量稳定性 88

2.7.3 风险厌恶多阶段随机优化问题的基本性质 91

2.7.4 风险厌恶多阶段随机优化问题的定量稳定性 93

2.8 小结 96

第3章 求解多阶段随机优化的情景树方法 97

3.1 随机优化求解算法概述 97

3.1.1 分解类方法 97

3.1.2 抽样型方法 99

3.1.3 情景树方法 101

3.2 情景树方法发展概述 102

3.2.1 情景树的基本概念 102

3.2.2 情景树方法研究现状 103

3.3 情景树生成方法 107

3.3.1 基于VAR-MGARCH模型和矩匹配的情景树生成方法 107

3.3.2 基于动态混合Copula函数的情景树生成方法 113

3.4 情景树约减方法 118

3.4.1 基于合并节点的情景树约减方法 118

3.4.2 基于随机优化定量稳定性的情景树约减方法 130

3.5 数值实验 137

3.5.1 情景树生成方法的数值分析 138

3.5.2 情景树约减方法的数值分析 141

3.6 小结 144

第4章 机会约束规划 145

4.1 机会约束几何规划问题 145

4.2 正态分布下的机会约束 149

4.2.1 凸几何逼近 150

4.2.2 序列凸逼近 152

4.3 基于矩信息的分布鲁棒机会约束 154

4.3.1 基于前两阶矩的IRGP 154

4.3.2 基于前两阶矩的JRGP 160

4.4 基于K-L散度的分布鲁棒机会约束 165

4.4.1 基于K-L散度的IRGP 165

4.4.2 基于K-L散度的JRGP 168

4.5 基于Wasserstein距离的分布鲁棒机会约束 171

4.5.1 基于Wasserstein距离的IRGP 171

4.5.2 基于Wasserstein距离的JRGP 179

4.6 数值实验 183

4.6.1 分片线性逼近 185

4.6.2 独立和联合机会约束的比较 186

4.6.3 正负相关的影响 187

4.6.4 机会约束的满足情况 187

4.6.5 数据驱动问题 190

4.7 小结 191

第5章 非平稳强化学习的样本复杂度与泛化能力 192

5.1 样本复杂度与泛化能力 192

5.2 强化学习的蒙特卡罗抽样方法 194

5.2.1 有限期强化学习 194

5.2.2 无限期强化学习 202

5.3 主动强化学习的样本平均近似方法 204

5.3.1 有限期强化学习 205

5.3.2 无限期强化学习 210

5.4 小结 211

第6章 随机优化和强化学习的统一模型 212

6.1 引言 212

6.2 统一模型导出 214

6.2.1 内生随机性及外生随机性 215

6.2.2 统一模型 217

6.2.3 统一模型与现有模型的关系 218

6.3 统一模型的基本性质 220

6.4 定量稳定性分析 235

6.4.1 关于内生随机性的定量稳定性 236

6.4.2 关于外生随机性的定量稳定性 244

6.5 小结 267

第7章 风险厌恶马氏决策过程与强化学习 268

7.1 预备知识 268

7.1.1 几类新近提出的MDP模型 268

7.1.2 贝叶斯复合风险度量 269

7.2 贝叶斯复合风险MDP 271

7.3 有限期BCR-MDP问题 275

7.4 无限期BCR-MDP问题 279

7.4.1 贝尔曼方程与最优性条件 279

7.4.2 收敛性分析 283

7.5 基于BCR-MDP的价值迭代算法和策略迭代算法 292

7.5.1 价值迭代 292

7.5.2 策略迭代 295

7.6 针对BCR-MDP的样本平均近似算法 297

7.7 数值实验 301

7.7.1 有限期赌博问题 301

7.7.2 无限库存控制问题 305

7.8 小结 305

第8章 机会约束马氏决策过程与强化学习 306

8.1 机会约束马氏决策过程 306

8.1.1 通常机会约束马氏决策过程 309

8.1.2 分布鲁棒机会约束马氏决策过程 309

8.2 基于矩信息的分布鲁棒机会约束马氏决策过程 310

8.2.1 J-DRCCMDP问题的等价转化形式 310

8.2.2 J-DRCCMDP问题的求解算法 312

8.3 基于K-L散度的分布鲁棒机会约束马氏决策过程 314

8.3.1 独立K-L DRCCMDP 317

8.3.2 联合K-L DRCCMDP 320

8.4 分布鲁棒机会约束优化的强化学习方法 323

8.4.1 数值实验 328

8.5 小结 328

第9章 平均场强化学习 329

9.1 多智能体系统 329

9.2 有限智能体系统的离散平均场强化学习 330

9.2.1 有限多智能体的随机博弈 330

9.2.2 纳什Q学习 332

9.2.3 平均场强化学习 332

9.2.4 平均场近似 334

9.2.5 算法实现 334

9.2.6 数值实验 336

9.3 无限智能体系统的连续平均场强化学习 339

9.3.1 无限智能体平均场博弈的策略梯度 339

9.3.2 连续平均场博弈的策略评估 350

9.3.3 连续平均场博弈的Actor-Critic算法 350

9.3.4 数值实验 359

9.4 小结 362

第10章 强化学习在多期投资组合选择中的应用 364

10.1 多期投资组合投资概述 364

10.2 强化学习鲁棒投资组合选择模型 366

10.3 强化学习鲁棒投资组合选择模型的求解 368

10.3.1 基于渐近相对效率的双层分解算法 368

10.3.2 增广拉格朗日乘子法 369

10.3.3 参考分布更新 370

10.4 实证研究 371

10.5 小结 376

参考文献 377

《大数据与数据科学专著系列》已出版书目 411

陈志平，随机优化领域著名专家，国家天元数学西北中心副主任，西安交通大学二级教授：长期从事随机规划理论及其应用、分布鲁棒优化、强化学习、金融风险度量、保险精算与投资分析等领域的学术研究，在运筹学、经济与金融领域学术期刊发表SCI（SSCI）检索论文120余篇；主持国家自然科学基金项目及横向项目20余项，现主持国家重点研发计划重点专项“强化学习的数学理论与随机优化的自学习方法”，现任OR Spectrum、BigData and Informa-tion Analytics、《西安交通大学学报》等国内外期刊的编委。