深度学习架构与实践

目录

前言

绪论1

第1章 深度学习的架构8

11如何区分人工智能、机器学习、深度学习8

111人工智能：从概念提出到走向繁荣8

112机器学习：一种实现人工智能的方法9

113深度学习：一种实现机器学习的技术9

114人工智能、机器学习和深度学习的关系9

12深度学习的发展历史及研究现状10

121深度学习的发展历史10

122深度学习的研究现状11

13深度学习的基本内容及理论基础13

131深度学习的基本内容13

132深度学习的理论基础15

14深度学习的发展趋势与未来15

141深度学习的发展趋势15

142深度学习的未来16

第2章 深度学习相关数学基础17

21线性代数17

211标量、向量、矩阵和张量17

212矩阵和向量相乘18

213单位矩阵和逆矩阵19

214线性相关和生成子空间19

215范数21

216特殊类型的矩阵和向量22

217特征分解23

218奇异值分解24

219Moore-Penrose伪逆25

2110迹运算25

2111行列式26

2112主成分分析26

22概率论与信息论29

221随机试验、频率与概率、随机变量29

222随机变量的分布情况30

223二维随机变量31

224期望、方差、协方差、相关系数33

225常用的概率分布34

226常用函数的有用性质37

227连续型变量的技术细节39

228信息论40

229结构化概率模型41

23拟合、梯度下降与传播43

231过拟合和欠拟合43

232随机梯度下降44

233正向传播与反向传播47

第3章 神经网络的架构48

31神经网络与神经元48

32深度神经网络的概念与结构49

321深度神经网络的概念49

322深度神经网络的结构49

33深度神经网络的分类50

331前馈深度网络50

332反馈深度网络51

333双向深度网络51

34自动编码器与玻尔兹曼机51

341自动编码器51

342玻尔兹曼机52

第4章 卷积神经网络53

41卷积神经网络的概念53

42卷积神经网络的基本结构54

421卷积层55

422池化层56

423全连接层56

43非线性层与激活函数57

431Sigmoid激活函数57

432Tanh函数59

433Relu函数60

44感受野与权值共享61

441局部感受野61

442权值共享61

45卷积神经网络与反卷积神经网络62

451卷积神经网络及其特点62

452反卷积神经网络及其特点63

46卷积神经网络的训练63

第5章 循环神经网络64

51RNN的概念64

52RNN的结构64

53RNN的训练65

531反向传播算法的原理65

532反向传播算法的步骤65

54RNN的实现71

541梯度爆炸与梯度消失71

542基于RNN的语言模型例子71

543语言模型训练过程73

55RNN的发展74

551双向循环神经网络74

552长短时记忆结构75

第6章 生成对抗网络7761GAN的概念77

611对抗思想与GAN77

612最大似然估计及最优化问题79

613GAN的训练过程81

62GAN的原理82

621生成器82

622判别器83

63GAN的应用84

64GAN的发展85

641GAN的优缺点85

642GAN的未来发展方向86

第7章 Python相关基础8771Python程序结构87

711循环结构87

712分支结构89

72NumPy操作90

721NumPy的主要特点91

722ndarray91

723NumPy-数据类型94

724NumPy-数组属性94

725NumPy-数组创建例程96

726NumPy-切片和索引98

727NumPy-字符串函数99

728NumPy-算数函数100

729NumPy-算数运算100

7210NumPy-统计函数101

7211NumPy-排序、搜索和计数函数102

7212NumPy-字节交换103

7213NumPy-副本和视图103

7214NumPy-矩阵库104

7215NumPy-线性代数105

73函数105

731Python中函数的应用105

732Python函数的定义107

733Python函数的调用108

734为函数提供说明文档109

74第三方资源110

第8章 TensorFlow、Theano、Caffe的框架与安装113

81TensorFlow的框架与安装113

811TensorFlow的简介113

812TensorFlow的架构113

813TensorFlow的特点114

814TensorFlow的安装114

82Theano的框架与安装118

821Theano的简介118

822Theano的安装119

83Caffe的架构与安装121

831Caffe的简介121

832Caffe的安装122

第9章 TensorFlow、Theano、Caffe的原理及应用124

91TensorFlow的原理及应用124

911TensorFlow的工作原理124

912TensorFlow的简单应用126

913TensorFlow的复杂应用129

92Theano的基本语法及应用145

921Theano的基本语法145

922Theano在Windows下的常用实例149

923用Theano来编写一个简单的神经网络154

93Caffe的结构、写法及应用157

931Caffe的结构157

932Caffe的写法157

933Caffe的训练与测试167

第10章 手写数字识别实例177

101字符识别的意义177

102字符识别的设计与实现177

1021实验简介177

1022实验环境搭建178

103单层神经网络搭建178

1031网络搭建过程178

1032梯度下降180

104多层神经网络搭建183

1041Sigmoid激活函数184

1042Relu激活函数184

1043衰减学习率187

1044添加dropout解决过拟合现象188

105卷积神经网络190

第11章 自动生成图像描述实例195

111自动生成图像描述的目标195

112自动生成图像描述的设计198

113语言生成模型201

114自动生成图像描述的实现203

115实验结果及分析221

第12章 唇语识别实例225

121唇语识别技术的目标225

122特征提取225

1221CNN的唇部视觉特征提取225

1222RNN的时序特征提取226

1223特征分类算法SVM、KNN、Softmax228

123唇语识别模型网络架构230

1231抽取视频帧算法与视频唇部区域定位230

1232图像特征提取网络架构233

1233基于注意力机制的时间特征提取架构234

1234唇语识别模型与整体识别流程235

124实验结果及分析239

1241数据集与预处理239

1242实验结果239

1243可视化分析242

参考文献246