Python强化学习实战：应用OpenAI Gym和TensorFlow精通强化学习和深度强化学习

译者序

原书前言

第1章 强化学习简介 //1

1.1　什么是强化学习 //1

1.2　强化学习算法 //2

1.3　强化学习与其他机器学习范式的不同 //3

1.4　强化学习的要素 //3

1.4.1　智能体 //3

1.4.2　策略函数 //3

1.4.3　值函数 //4

1.4.4　模型 //4

1.5　智能体环境接口 //4

1.6　强化学习的环境类型 //5

1.6.1　确定性环境 //5

1.6.2　随机性环境 //5

1.6.3　完全可观测环境 //5

1.6.4　部分可观测环境 //5

1.6.5　离散环境 //5

1.6.6　连续环境 //5

1.6.7　情景和非情景环境 //5

1.6.8　单智能体和多智能体环境 //6

1.7　强化学习平台 //6

1.7.1　OpenAI Gym和Universe //6

1.7.2　DeepMind Lab //6

1.7.3　RLGlue //6

1.7.4　Project Malmo //6

1.7.5　VizDoom //6

1.8　强化学习的应用 //7

1.8.1　教育 //7

1.8.2　医疗和健康 //7

1.8.3　制造业 //7

1.8.4　库存管理 //7

1.8.5　金融 //7

1.8.6　自然语言处理和计算机视觉 //7

1.9　小结 //8

1.10　问题 //8

1.11　扩展阅读 //8

第2章 从OpenAI和TensorFlow入门 //9

2.1　计算机设置 //9

2.1.1　安装Anaconda //9

2.1.2　安装Docker //10

2.1.3　安装OpenAI Gym和Universe //11

2.2　OpenAI Gym //13

2.2.1　基本模拟 //13

2.2.2　训练机器人行走 //14

2.3　OpenAI Universe //16

2.3.1　构建一个视频游戏机器人 //16

2.4　TensorFlow //20

2.4.1　变量、常量和占位符 //20

2.4.2　计算图 //21

2.4.3　会话 //21

2.4.4　TensorBoard //22

2.5　小结 //25

2.6　问题 //25

2.7　扩展阅读 //25

第3章 马尔可夫决策过程和动态规划 //26

3.1　马尔可夫链和马尔可夫过程 //26

3.2　MDP //27

3.2.1　奖励和回报 //28

3.2.2　情景和连续任务 //28

3.2.3　折扣因数 //28

3.2.4　策略函数 //29

3.2.5　状态值函数 //29

3.2.6　状态—行为值函数（Q函数）//30

3.3　Bellman方程和最优性 //30

3.3.1　推导值函数和Q函数的Bellman方程 //31

3.4　求解Bellman方程 //32

3.4.1　动态规划 //32

3.5　求解冰冻湖问题 //38

3.5.1　值迭代 //39

3.5.2　策略迭代 //43

3.6　小结 //45

3.7　问题 //45

3.8　扩展阅读 //46

第4章 基于蒙特卡罗方法的博弈游戏 //47

4.1　蒙特卡罗方法 //47

4.1.1　利用蒙特卡罗方法估计π值 //47

4.2　蒙特卡罗预测 //50

4.2.1　首次访问蒙特卡罗 //51

4.2.2　每次访问蒙特卡罗 //52

4.2.3　利用蒙特卡罗方法玩二十一点游戏 //52

4.3　蒙特卡罗控制 //58

4.3.1　蒙特卡罗探索开始 //58

4.3.2　在线策略的蒙特卡罗控制 //59

4.3.3　离线策略的蒙特卡罗控制 //61

4.4　小结 //62

4.5　问题 //62

4.6　扩展阅读 //63

第5章 时间差分学习 //64

5.1　时间差分学习 //64

5.2　时间差分预测 //64

5.3　时间差分控制 //66

5.3.1　Q学习 //66

5.3.2　SARSA //72

5.4　Q学习和SARSA之间的区别 //77

5.5　小结 //77

5.6　问题 //78

5.7　扩展阅读 //78

第6章 MAB问题 //79

6.1　MAB问题 //79

6.1.1　ε贪婪策略 //80

6.1.2　Softmax探索算法 //82

6.1.3　UCB算法 //83

6.1.4　Thompson采样算法 //85

6.2　MAB的应用 //86

6.3　利用MAB识别正确的广告标识 //87

6.4　上下文赌博机 //89

6.5　小结 //89

6.6　问题 //89

6.7　扩展阅读 //89

第7章 深度学习基础 //90

7.1　人工神经元 //90

7.2　ANN //91

7.2.1　输入层 //92

7.2.2　隐层 //92

7.2.3　输出层 //92

7.2.4　激活函数 //92

7.3　深入分析ANN //93

7.3.1　梯度下降 //95

7.4　TensorFlow中的神经网络 //99

7.5　RNN //101

7.5.1　基于时间的反向传播 //103

7.6　LSTM RNN //104

7.6.1　利用LSTM RNN生成歌词 //105

7.7　CNN //108

7.7.1　卷积层 //109

7.7.2　池化层 //111

7.7.3　全连接层 //112

7.7.4　CNN架构 //112

7.8　利用CNN对时尚产品进行分类　//113

7.9　小结 //117

7.10　问题 //117

7.11　扩展阅读 //118

第8章 基于DQN的Atari游戏　//119

8.1　什么是DQN //119

8.2　DQN的架构 //120

8.2.1　卷积网络 //120

8.2.2　经验回放 //121

8.2.3　目标网络 //121

8.2.4　奖励裁剪 //122

8.2.5　算法理解 //122

8.3　构建一个智能体来玩Atari游戏 //122

8.4　双DQN //129

8.5　优先经验回放 //130

8.6　对抗网络体系结构 //130

8.7　小结 //131

8.8　问题 //132

8.9　扩展阅读 //132

第9章 基于DRQN玩Doom游戏　//133

9.1　DRQN //133

9.1.1　DRQN架构 //134

9.2　训练一个玩Doom游戏的智能体 //135

9.2.1　基本的Doom游戏 //135

9.2.2　基于DRQN的Doom游戏 //136

9.3　DARQN //145

9.3.1　DARQN架构 //145

9.4　小结 //145

9.5　问题 //146

9.6　扩展阅读 //146

第10章 A3C网络 //147

10.1　A3C //147

10.1.1　异步优势行为者 //147

10.1.2　A3C架构 //148