[正版] 深度强化学习:基于Python的理论及实践(英文 计算机网络 计算机控制仿真与人工智能 机械工业出版社 书籍

         店铺公告

  为保障消费者合理购买需求及公平交易机会，避免因非生活消费目的的购买货囤积商品，抬价转售等违法行为发生，店铺有权对异常订单不发货且不进行赔付。异常订单：包括但不限于相同用户ID批量下单，同一用户（指不同用户ID，存在相同/临近/虚构收货地址，或相同联系号码，收件人，同账户付款人等情形的）批量下单（一次性大于5本），以及其他非消费目的的交易订单。

温馨提示：请务必当着快递员面开箱验货，如发现破损，请立即拍照拒收，如验货有问题请及时联系在线客服处理，（如开箱验货时发现破损，所产生运费由我司承担，一经签收即为货物完好，如果您未开箱验货，一切损失就需要由买家承担，所以请买家一定要仔细验货），

关于退货运费：对于下单后且物流已发货货品在途的状态下，原则上均不接受退货申请，如顾客原因退货需要承担来回运费，如因产品质量问题（非破损问题）可在签收后，联系在线客服。

  本店存在书、古旧书、收藏书、二手书等特殊商品，因受采购成本限制,可能高于定价销售，明码标价，介意者勿拍!

1.书籍因稀缺可能导致售价高于定价,图书实际定价参见下方详情内基本信息,请买家看清楚且明确后再拍，避免价格争议!

2.店铺无纸质均开具电子，请联系客服开具电子版

章　强化学习简介 1
1.1　强化学习 1
1.2　强化学习中的MDP 6
1.3　强化学习中的学习函数 9
1.4　深度强化学习算法 11
1.4.1　基于策略的算法 12
1.4.2　基于值的算法 13
1.4.3　基于模型的算法 13
1.4.4　组合方法 15
1.4.5　本书中的算法 15
1.4.6　同策略和异策略算法 16
1.4.7　小结 16
1.5　强化学习中的深度学习 17
1.6　强化学习与监督学习 19
1.6.1　缺乏先知 19
1.6.2　反馈稀疏性 20
1.6.3　数据生成 20
1.7　总结 21
部分　基于策略的算法和基于值的算法
第2章　REINFORCE 25
2.1　策略 26
2.2　目标函数 26
2.3　策略梯度 27
2.3.1　策略梯度推导 28
2.4　蒙特卡罗采样 30
2.5　REINFORCE算法 31
2.5.1　改进的REINFORCE算法 32
2.6　实现REINFORCE 33
2.6.1　一种小化REINFORCE的实现 33
2.6.2　用PyTorch构建策略 36
2.6.3　采样动作 38
2.6.4　计算策略损失 39
2.6.5　REINFORCE训练循环 40
2.6.6　同策略内存回放 41
2.7　训练REINFORCE智能体 44
2.8　实验结果 47
2.8.1　实验：评估折扣因子的影响 47
2.8.2　实验：评估基准线的影响 49
2.9　总结 51
2.10　扩展阅读 51
2.11　历史回顾 51
第3章　SARSA 53
3.1　Q函数和V函数 54
3.2　时序差分学习 56
3.2.1　时序差分学习示例 59
3.3　SARSA中的动作选择 65
3.3.1　探索和利用 66
3.4　SARSA算法 67
3.4.1　同策略算法 68
3.5　实现SARSA 69
3.5.1　动作函数：ε-贪婪 69
3.5.2　计算Q损失 70
3.5.3　SARSA训练循环 71
3.5.4　同策略批处理内存回放 72
3.6　训练SARSA智能体 74
3.7　实验结果 76
3.7.1　实验：评估学习率的影响 77
3.8　总结 78
3.9　扩展阅读 79
3.10　历史回顾 79
第4章　深度Q网络 81
4.1　学习DQN中的Q函数 82
4.2　DQN中的动作选择 83
4.2.1　Boltzmann策略 86
4.3　经验回放 88
4.4　DQN算法 89
4.5　实现DQN 91
4.5.1　计算Q损失 91
4.5.2　DQN训练循环 92
4.5.3　内存回放 93
4.6　训练DQN智能体 96
4.7　实验结果 99
4.7.1　实验：评估网络架构的影响 99
4.8　总结 101
4.9　扩展阅读 102
4.10　历史回顾 102
第5章　改进的深度Q网络 103
5.1　目标网络 104
5.2　双重DQN 106
5.3　优先级经验回放 109
5.3.1　重要性抽样 111
5.4　实现改进的DQN 112
5.4.1　网络初始化 113
5.4.2　计算Q损失 113
5.4.3　更新目标网络 115
5.4.4　包含目标网络的DQN 116
5.4.5　双重DQN 116
5.4.6　优先级经验回放 117
5.5　训练DQN智能体玩Atari游戏 123
5.6　实验结果 128
5.6.1　实验：评估双重DQN与PER的影响 128
5.7　总结 132
5.8　扩展阅读 132
第二部分　组合方法
第6章　优势演员–评论家算法 135
6.1　演员 136
6.2　评论家 136
6.2.1　优势函数 136
6.2.2　学习优势函数 140
6.3　A2C算法 141
6.4　实现A2C 143
6.4.1　优势估计 144
6.4.2　计算价值损失和策略损失 147
6.4.3　演员–评论家训练循环 147
6.5　网络架构 148
6.6　训练A2C智能体 150
6.6.1　在Pong上使用n步回报的A2C算法 150
6.6.2　在Pong上使用GAE的A2C算法 153
6.6.3　在BipedalWalker上使用n步回报的A2C算法 155
6.7　实验结果 157
6.7.1　实验：评估n步回报的影响 158
6.7.2　实验：评估GAE中的影响 159
6.8　总结 161
6.9　扩展阅读 162
6.10　历史回顾 162
第7章　近端策略优化算法 165
7.1　替代目标函数 165
7.1.1　性能突然下降 166
7.1.2　修改目标函数 168
7.2　近端策略优化 174
7.3　PPO算法 177
7.4　实现PPO 179
7.4.1　计算PPO的策略损失 179
7.4.2　PPO训练循环 180
7.5　训练PPO智能体 182
7.5.1　在Pong上使用PPO算法 182
7.5.2　在BipedalWalker上使用PPO算法 185
7.6　实验结果 188
7.6.1　实验：评估GAE中的影响 188
7.6.2　实验：评估裁剪变量的影响 190
7.7　总结 192
7.8　扩展阅读 192
第8章　并行方法 195
8.1　同步并行 196
8.2　异步并行 197
8.2.1　Hogwild!算法 198
8.3　训练A3C智能体 200
8.4　总结 203
8.5　扩展阅读 204
第9章　算法总结 205
第三部分　实践细节
0章　深度强化学习工程实践 209
10.1　软件工程实践 209
10.1.1　单元测试 210
10.1.2　代码质量 215
10.1.3　Git工作流 216
10.2　调试技巧 218
10.2.1　生命迹象 219
10.2.2　策略梯度诊断 219
10.2.3　数据诊断 220
10.2.4　预处理器 222
10.2.5　内存 222
10.2.6　算法函数 2

这本书是针对计算机科学专业大学生和软件工程师的。本课程旨在介绍深度强化学习，无需事先了解相关主题。但是，我们假设读者对机器学习和深度学习有基本的了解，并且对Python编程有中级的了解。一些使用PyTorch的经验也是有用的，但不是必需的。

劳拉·格雷泽（Laura Graesser）是一名研究软件工程师，在谷歌从事机器人技术方面的工作。她拥有纽约大学计算机科学硕士学位，专攻机器学习。
龚辉伦（Wah Loon Keng）是Machine Zone的一名人工智能工程师，他致力于将深度强化学习应用于工业问题。他拥有理论物理和计算机科学的背景。
他们共同开发了两个深度强化学习软件库，并就此进行了多次主题讲座和技术辅导。