深度学习原理与应用

目 录

第1章 深度学习概述\t1

1．1 什么是深度学习\t1

1．2 为什么会出现深度学习\t6

1．3 深度学习方法的分类\t8

1．4 人工神经网络的发展简史\t9

思考题\t15

第2章 必备的数学知识\t16

2．1 线性代数\t16

2．1．1 矩阵\t16

2．1．2 向量\t21

2．2 微积分\t22

2．2．1 微分\t22

2．2．2 积分\t26

2．3 概率统计\t27

2．3．1 随机事件\t27

2．3．2 概率的定义\t28

2．3．3 条件概率和贝叶斯公式\t28

2．3．4 常用概率模型\t29

2．3．5 随机变量与概率分布\t30

2．3．6 随机变量的数字特征\t31

2．3．7 典型的概率分布\t33

2．3．8 统计与概率\t36

2．3．9 样本与总体\t37

2．3．10 统计量与抽样分布\t37

2．3．11 参数估计\t38

第3章 神经网络\t40

3．1 生物神经元\t40

3．2 M-P模型\t41

3．3 前馈神经网络\t42

3．4 感知器\t43

3．4．1 单层感知器\t43

3．4．2 多层感知器\t45

3．5 神经网络的学习\t46

3．5．1 数据驱动\t46

3．5．2 损失函数\t47

3．5．3 激活函数\t50

3．5．4 似然函数\t55

3．5．5 梯度与梯度下降法\t58

3．5．6 学习率\t61

3．5．7 学习规则\t62

3．6 误差反向传播算法\t63

3．7 随机梯度下降法\t69

3．8 神经网络学习算法的基本步骤\t70

思考题\t71

第4章 卷积神经网络\t72

4．1 卷积神经网络的结构\t72

4．2 输入层\t76

4．3 卷积层\t76

4．4 池化层\t82

4．5 全连接层\t84

4．6 输出层\t84

4．7 卷积神经网络的训练方法\t85

4．8 卷积神经网络的可视化\t88

4．8．1 特征图可视化\t88

4．8．2 卷积核可视化\t94

4．8．3 类激活图可视化\t97

4．8．4 可视化工具（Deep Visualization Toolbox）\t98

4．9 典型的卷积神经网络\t99

4．9．1 LeNet神经网络\t99

4．9．2 AlexNet\t103

4．9．3 VGGNet\t104

4．9．4 GoogLeNet\t106

4．9．5 ResNet\t108

4．9．6 基于AlexNet的人脸识别\t108

思考题\t118

第5章 反馈神经网络\t119

5．1 Hopfield神经网络\t119

5．2 离散型Hopfield神经网络\t121

5．2．1 离散型Hopfield神经网络的结构\t121

5．2．2 离散型Hopfield神经网络的状态变化规律\t122

5．2．3 离散型Hopfield神经网络的稳态判别函数\t123

5．2．4 离散型Hopfield神经网络的联想记忆\t126

5．2．5 离散型Hopfield神经网络的模式识别例子\t127

5．2．6 离散型Hopfield神经网络的权重设置\t128

5．2．7 离散型Hopfield神经网络的不足\t130

5．3 连续型Hopfield神经网络\t131

5．3．1 连续型Hopfield神经网络结构及其稳定性分析\t131

5．3．2 连续型Hopfield神经网络解决旅行商问题\t133

5．4 玻尔兹曼机\t135

5．3 受限玻尔兹曼机\t141

5．4 对比散度算法\t146

5．5 深度信念网络\t148

思考题\t150

第6章 自编码器\t151

6．1 自编码器\t151

6．2 降噪自编码器\t153

6．3 稀疏自编码器\t155

6．4 栈式自编码器\t156

6．5 变分自编码器\t158

思考题\t161

第7章 循环神经网络\t162

7．1 循环神经网络概述\t162

7．2 隐马尔可夫链\t163

7．3 循环神经网络架构\t164

7．4 LSTM\t166

7．4．1 基于LSTM预测彩票\t170

7．4．2 基于LSTM生成古诗词\t180

思考题\t188

第8章 生成对抗网络\t189

8．1 生成对抗网络概述\t189

8．2 生成对抗网络\t190

8．3 条件生成对抗网络\t193

8．4 深度对抗生成网络\t195

8．5 基于DCGAN生成人脸图片\t196

8．5．1 准备数据集\t196

8．5．2 构建模型\t197

思考题\t204

第9章 学习有关的处理技巧\t205

9．1 训练样本\t205

9．2 数据预处理\t206

9．3 Dropout与DropConnect\t209

9．4 正则化\t212

9．5 权重的初值设置\t213

思考题\t214

第10章 深度学习开发工具\t215

10．1 TensorFlow\t215

10．1．1 安装TensorFlow\t216

10．1．2 TensorFlow运行环境\t217

10．1．3 TensorFlow基本要素\t218

10．1．4 TensorFlow运行原理\t219

10．1．5 TensorFlow编程识别手写数字实例\t221

10．1．6 TensorBoard可视化工具\t225

10．2 Caffe\t226

10．2．1 Caffe的安装\t228

10．2．2 Caffe的应用实例\t231

思考题\t232

第11章 自动化机器学习\t233

11．1 AutoML简介\t234

11．2 AutoML与传统方法的对比\t234

11．3 现有AutoML平台产品\t235

11．3．1 谷歌Cloud AutoML\t235

11．3．2 百度EasyDL\t235

11．3．3 阿里云PAI\t238

第12章 深度学习的未来\t242

12．1 物体识别\t242

12．2 物体检测\t243

12．3 图像分割\t251

12．4 回归问题\t253

12．4．1 人体姿态估计\t253

12．4．2 面部器官检测\t255

12．5 图像标注生成\t255

12．6 图像风格变换\t257

12．7 自动驾驶\t258

12．8 强化学习\t259

12．9 深度学习的最新应用\t260

12．9．1 AlphaGo围棋机器人\t260

12．9．2 人机对话\t262

12．9．3 视频换脸\t263

12．9．4 无人机自动控制\t265

12．9．5 机器人行动协同\t267

12．9．6 医疗自动诊断\t269

12．10 深度学习的发展趋势分析\t271

12．10．1 深度学习技术现状\t271

12．10．2 深度学习发展趋势\t271

参考答案\t273

参考文献\t277