深度学习基础教程

译者序

原书前言

第 1章　为什么进行深度学习 // 1

1.1　什么是人工智能和深度学习 // 1

1.2　深度学习的历史及其兴起 // 2

1.3　为什么进行深度学习 // 7

1.3.1　相比于传统浅层方法的优势 // 7

1.3.2　深度学习的影响 //8

1.4　深层架构的动机 // 9

1.4.1　神经的观点 // 10

1.4.2　特征表示的观点 // 10

1.5　应用 //14

1.5.1　盈利性应用 // 14

1.5.2　成功案例 // 14

1.5.3　面向企业的深度学习 // 19

1.6　未来的潜力和挑战 // 20

1.7　小结 //21

第 2章　为深度学习做准备 // 22

2.1　线性代数的基础知识 // 22

2.1.1　数据表示 // 22

2.1.2　数据操作 // 23

2.1.3　矩阵属性 // 24

2.2　使用GPU进行深度学习 // 24

2.2.1　深度学习硬件指南 // 26

2.3　深度学习软件框架 // 27

2.3.1　TensorFlow // 27

2.3.2　Caffe // 27

2.3.3　MXNet // 28

2.3.4　Torch // 28

2.3.5　Theano // 28

2.3.6　CNTK // 29

2.3.7　Keras // 29

2.3.8　框架比较 // 29

2.4　基本亚马逊网络服务的深度学习开发环境配置 // 30

2.4.1　从零开始配置 // 30

2.4.2　基于Docker的配置 // 33

2.5　小结 //34

第 3章　神经网络入门 // 35

3.1　多层感知机 // 35

3.1.1　输入层 // 36

3.1.2　输出层 // 36

3.1.3　隐藏层 // 36

3.1.4　激活函数 // 36

3.2　如何进行网络学习 // 39

3.2.1　权值初始化 // 39

3.2.2　前向传播 // 39

3.2.3　反向传播 // 40

3.2.4　梯度消失与爆炸 // 42

3.2.5　优化算法 // 42

3.2.6　正则化 // 43

3.3　深度学习模型 // 43

3.3.1　卷积神经网络 // 43

3.3.2　受限玻耳兹曼机 // 47

3.3.3　循环神经网络（RNN/LSTM网络）// 50

3.3.4　RNN中的单元及其展开 // 51

3.3.5　通过时间的反向传播 // 51

3.3.6　梯度消失与 LSTM网络 // 51

3.3.7　LSTM网络中的单元和网关 // 52

3.4　应用示例 //53

3.4.1　TensorFlow设置与关键概念 // 53

3.4.2　手写数字识别 // 54

3.5　小结 //57

第 4章　计算机视觉中的深度学习 // 58

4.1　卷积神经网络的起源 // 58

4.2　卷积神经网络 // 59

4.2.1　数据变换 // 61

4.2.2　网络层 // 62

4.2.3　网络初始化 // 65

4.2.4　正则化 // 66

4.2.5　损失函数 // 67

4.2.6　模型可视化 // 68

4.2.7　手写数字分类示例 // 69

4.3　微调卷积神经网络 // 71

4.4　主流的卷积神经网络架构 // 72

4.4.1　AlexNet // 72

4.4.2　VGG // 72

4.4.3　GoogLeNet // 73

4.4.4　ResNet // 73

4.5　小结 //74

第 5章　自然语言处理中的向量表示 // 75

5.1　传统的自然语言处理 // 75

5.1.1　BoW // 75

5.1.2　带权的 tf-idf // 76

5.2　基于深度学习的自然语言处理 // 77

5.2.1　动机及分散式表示法 // 77

5.2.2　词嵌入 // 78

5.2.3　Word2Vec // 81

5.2.4　了解 GloVe // 92

5.2.5　FastText // 92

5.3　应用 //93

5.3.1　使用示例 // 93

5.3.2　微调 // 93

5.4　小结 //94

第 6章　高级自然语言处理 // 95

6.1　面向文本的深度学习 // 95

6.1.1　神经网络的局限性 // 95

6.2　循环神经网络 // 96

6.2.1　RNN架构 // 97

6.2.2　基本的RNN模型 // 98

6.2.3　训练RNN很难 // 98

6.3　LSTM网络 //99

6.3.1　使用TensorFlow实现LSTM网络 // 101

6.4　应用 //103

6.4.1　语言建模 // 103

6.4.2　序列标注 // 104

6.4.3　机器翻译 // 106

6.4.4　聊天机器人 // 109

6.5　小结 //110

第 7章　多模态 // 111

7.1　什么是多模态学习 // 111

7.2　多模态学习的挑战 // 111

7.2.1　模态表示 // 112

7.2.2　模态转换 // 112

7.2.3　模态对齐 // 112

7.2.4　模态融合 // 113

7.2.5　协同学习 // 113

7.3　图像标注生成 //113

7.3.1　show&tell算法 // 114

7.3.2　其他类型的方法 // 116

7.3.3　数据集 // 117

7.3.4　评估方法 // 119

7.3.5　注意力模型 // 121

7.4　视觉问答 //125

7.5　基于多源的自动驾驶 //127

7.6　小结 //130

第 8章　深度强化学习 // 131

8.1　什么是强化学习 // 131

8.1.1　问题设置 // 132

8.1.2　基于值函数学习的算法 // 132

8.1.3　基于策略搜索的算法 //134

8.1.4　基于Actor-Critic的算法 // 134

8.2　深度强化学习 // 135

8.2.1　深度Q网络（DQN）// 135

8.2.2　双DQN // 137

8.2.3　竞争DQN // 138

8.3　强化学习实现 // 138

8.3.1　简单的强化学习示例 // 138

8.3.2　以Q-learning为例的强化学习 // 139

8.4　小结 //141

第 9章　深度学习的技巧 // 142

9.1　处理数据 //142

9.1.1　数据清理 // 142

9.1.2　数据扩充 // 142

9.1.3　数据归一化 // 143

9.2　训练技巧 // 143

9.2.1　权值初始化 // 143

9.2.2　优化 // 144

9.2.3　损失函数选择 // 146

9.2.4　防止过拟合 // 147

9.2.5　微调 // 148

9.3　模型压缩 // 149

9.4　小结 // 152

第 10章　深度学习的发展趋势 // 153

10.1　深度学习的最新模型 // 153

10.1.1　生成对抗网络 // 153

10.1.2　Capsule网络 // 154

10.2　深度学习的新应用 // 155

10.2.1　基因组学 // 155

10.2.2　医疗预测 // 157

10.2.3　临床影像学 // 159

10.2.4　唇语 // 160

10.2.5　视觉推理 // 161

10.2.6　代码合成 // 162

10.3　小结 // 164