深度强化学习实践（原书第2版）

深度强化学习实践（原书第2版）
作　者： 马克西姆·拉潘
出版社： 机械工业出版社
丛编项：
版权说明： 本书为公共版权或经版权方授权，请支持正版图书
标　签： 暂缺
ISBN 出版时间 包装 开本 页数 字数
未知 暂无 暂无 未知 0 暂无

作者简介

　　马克西姆·拉潘（Maxim Lapan），一位深度学习爱好者和独立研究者。他拥有15年软件开发和系统架构经验，涵盖从低级Linux内核驱动程序开发到性能优化以及在数千台服务器上工作的分布式应用程序设计的方方面面。他在大数据、机器学习以及大型并行分布式HPC和非HPC系统方面拥有丰富的工作经验，他能够使用简单的词汇和生动的示例来解释复杂的事物。他当前感兴趣的领域包括深度学习的实际应用，例如，深度自然语言处理和深度强化学习。林然，在2016年加入Thoughtworks之后，主要担任全栈软件开发工程师、TechLead、算法工程师等。在技术领域，他特别擅长全栈软件开发、端到端交付、面向对象设计、测试驱动开发、持续交付、领域驱动设计（DDD），熟悉整洁架构、微服务、DevOps、Scrum、Kanban、深度强化学习、Hadoop生态等技术和方法论。当前他在精进以重构、测试驱动开发和持续交付为核心的软件工程能力的基础上，正深耕于以领域驱动设计为代表的数字化架构能力、数据中台的架构能力以及以深度强化学习为代表的机器学习解决方案。同时，他曾参与翻译《Python机器学习手册》。王薇，北京邮电大学硕士，现任Thoughtworks数据分析师。有金融、通信、医疗、娱乐等不同行业的数据类项目经验，精通多种数据挖掘算法，擅长将算法与业务相结合进行数据挖掘和分析。

内容简介

《深度强化学习实践（原书第2版）》包括新的强化学习工具和技术，介绍了强化学习的基础知识，以及如何动手编写智能体以执行一系列实际任务。《深度强化学习实践（原书第2版）》较上一版新增6章，专门介绍了强化学习的新发展，包括离散优化（解决魔方问题）、多智能体方法、Microsoft的TextWorld环境、高级探索技术等。学完《深度强化学习实践（原书第2版）》，你将对这个新兴领域的前沿技术有深刻的理解。此外，你将获得对深度Q-network、策略梯度方法、连续控制问题以及高度可扩展的非梯度方法等领域的可行洞见，还将学会如何构建经过强化学习训练、价格低廉的真实硬件机器人，并通过逐步代码优化在短短30分钟的训练后解决Pong环境问题。简而言之，《深度强化学习实践（原书第2版）》将帮助你探索强化学习中令人兴奋的复杂主题，让你通过实例获得经验和知识。通过阅读《深度强化学习实践（原书第2版）》，你将：了解强化学习的深度学习上下文并实现复杂的深度学习模型。学会评估强化学习的方法，包括交叉熵、DQN、actor-critic、TRPO、PPO、DDPG、D4PG等。学会构建经过强化学习方法训练的、价格低廉的硬件机器人。研究Microsoft的TextWorld环境，这是一个文字冒险游戏平台。学会在强化学习中使用离散优化来解决魔方问题。学会教你的智能体使用AlphaGo Zero玩四子连横棋。探索有关AI聊天机器人等主题的较新深度强化学习技术。研究先进的探索技术，包括噪声网络和网络蒸馏技术。

图书目录

译者序

前言

作者简介

审校者简介

第1章 什么是强化学习

1．1 机器学习分类

1．1．1 监督学习

1．1．2 非监督学习

1．1．3 强化学习

1．2 强化学习的复杂性

1．3 强化学习的形式

1．3．1 奖励

1．3．2 智能体

1．3．3 环境

1．3．4 动作

1．3．5 观察

1．4 强化学习的理论基础

1．4．1 马尔可夫决策过程

1．4．2 策略

1．5 总结

第2章 OpenAIGym

2．1 剖析智能体

2．2 硬件和软件要求

2．3 0penAIGymAPI

2．3．1 动作空间

2．3．2 观察空间

2．3．3 环境

2．3．4 创建环境

2．3．5 车摆系统

2．4 随机CartPole智能体

2．5 Gym的额外功能：包装器和监控器

2．5．1 包装器

2．5．2 监控器

2．6 总结

第3章 使用PyTorch进行深度学习

3．1 张量

3．1．1 创建张量

3．1．2 零维张量

3．1．3 张量操作

3．1．4 GPU张量

3．2 梯度

3．3 NN构建块

3．4 自定义层

3．5 最终黏合剂：损失函数和优化器

3．5．1 损失函数

3．5．2 优化器

3．6 使用TensorBoard进行监控

3．6．1 TensorBOard101

3．6．2 绘图

3．7 示例：将GAN应用于Atari图像

3．8 PyTorchlgnite

3．9 总结

第4章 交叉熵方法

4．1 RL方法的分类

4．2 交叉熵方法的实践

4．3 交叉熵方法在CartPole中的应用

4．4 交叉熵方法在FrozenLake中的应用

4．5 交叉熵方法的理论背景

4．6 总结

第5章 表格学习和Bellman方程

5．1 价值、状态和最优性

5．2 最佳Bellman方程

5．3 动作的价值

5．4 价值迭代法

5．5 价值迭代实践

5．6 Q-Iearning在FrozenLake中的应用

5．7 总结

第6章 深度Q．network

6．1 现实的价值迭代

6．2 表格Q-Iearning

6．3 深度Q-learning

6．3．1 与环境交互

6．3．2 SGD优化

6．3．3 步骤之间的相关性

6．3．4 马尔可夫性质

6．3．5 DQN训练的最终形式

6．4 DQN应用于Pong游戏

6．4．1 包装器

6．4．2 DQN模型

6．4．3 训练

6．4．4 运行和性能

6．4．5 模型实战

6．5 可以尝试的事情

6．6 总结

第7章 高级强化学习库

7．1 为什么使用强化学习库

7．2 PTAN库

7．2．1 动作选择器

7．2．2 智能体

7．2．3 经验源

7．2．4 经验回放缓冲区

7．2．5 TargetNet类

7．2．6 Ignite帮助类

7．3 PTAN版本的CartPole解决方案

7．4 其他强化学习库

7．5 总结

第8章 DQN扩展

8．1 基础DQN

8．1．1 通用库

8．1．2 实现

8．1．3 结果

8．2 N步DQN

……

第9章 加速强化学习训练的方法

第10章 使用强化学习进行股票交易

第11章 策略梯度：一种替代方法

第12章 actor-critic方法

第13章 A3C

第14章 使用强化学习训练聊天机器人

第15章 TextWorld环境

第16章 Web导航

第17章 连续动作空间

第18章 机器人技术中的强化学习

第19章 置信域：PPO、TRPO、ACKTR及SAC

第20章 强化学习中的黑盒优化