神经网络与深度学习

序

前言

常用符号表

第1章 绪论3

1.1人工智能...............................4

1.2机器学习...............................7

1.3表示学习...............................8

1.4深度学习...............................11

1.5神经网络...............................13

1.6本书的知识体系...........................17

1.7常用的深度学习框架.........................18

1.8总结和深入阅读...........................20

第2章 机器学习概述23

2.1基本概念...............................24

2.2机器学习的三个基本要素......................26

2.3机器学习的简单示例——线性回归.................33

2.4偏差-方差分解............................38

2.5机器学习算法的类型.........................41

2.6数据的特征表示...........................43

2.7评价指标...............................46

2.8理论和定理..............................49

2.9总结和深入阅读...........................51

第3章 线性模型

3.1线性判别函数和决策边界......................56

3.2Logistic回归.............................59

3.3Softmax回归.............................61

3.4感知器.................................64

3.5支持向量机..............................71

3.6损失函数对比.............................75

3.7总结和深入阅读...........................76

第二部分 基础模型

第4章 前馈神经网络81

4.1神经元.................................82

4.1.1Sigmoid型函数.......................83

4.1.2ReLU函数..........................86

4.1.3Swish函数..........................88

4.1.4GELU函数..........................89

4.1.5Maxout单元.........................89

4.2网络结构...............................90

4.3前馈神经网络.............................91

4.4反向传播算法.............................95

4.5自动梯度计算.............................98

4.6优化问题...............................103

4.7总结和深入阅读...........................104

第5章 卷积神经网络109

5.1卷积..................................110

5.2卷积神经网络.............................115

5.3参数学习...............................120

5.4几种典型的卷积神经网络......................121

5.5其他卷积方式.............................127

5.6总结和深入阅读...........................130

第6章 循环神经网络133

6.1给网络增加记忆能力.........................134

6.2简单循环网络.............................135

6.3应用到机器学习...........................138

6.4参数学习...............................140

6.5长程依赖问题.............................143

6.5.1改进方案...........................144

6.6基于门控的循环神经网络......................145

6.7深层循环神经网络..........................149

6.8扩展到图结构.............................151

6.9总结和深入阅读...........................153

第7章 网络优化与正则化157

7.1网络优化...............................157

7.2优化算法...............................160

7.3参数初始化..............................171

7.4数据预处理..............................176

7.5逐层归一化..............................178

7.6超参数优化..............................183

7.7网络正则化..............................186

7.8总结和深入阅读...........................192

第8章 注意力机制与外部记忆197

8.1认知神经学中的注意力.......................198

8.2注意力机制..............................199

8.3自注意力模型.............................203

8.4人脑中的记忆.............................205

8.5记忆增强神经网络..........................207

8.6基于神经动力学的联想记忆.....................211

8.6.1Hopfiel网络........................212

8.7总结和深入阅读...........................215

第9章 无监督学习219

9.1无监督特征学习...........................220

9.2概率密度估计.............................227

9.3总结和深入阅读...........................232

第10章 模型独立的学习方式235

10.1集成学习...............................235

10.1.1AdaBoost算法........................237

10.2自训练和协同训练..........................240

10.3多任务学习..............................242

10.4迁移学习...............................245

10.5终身学习...............................249

10.6元学习.................................252

10.7总结和深入阅读...........................255

第三部分 进阶模型

第11章 概率图模型261

11.1模型表示...............................262

11.2学习..................................271

11.3推断..................................279

11.4变分推断...............................283

11.5基于采样法的近似推断.......................285

11.6总结和深入阅读...........................292

第12章 深度信念网络297

12.1玻尔兹曼机..............................297

12.2受限玻尔兹曼机...........................304

12.3深度信念网络.............................309

12.4总结和深入阅读...........................313

第13章 深度生成模型317

13.1概率生成模型.............................318

13.2变分自编码器.............................319

13.3生成对抗网络.............................327

13.3.1显式密度模型和隐式密度模型...............327

13.3.2网络分解...........................327

13.3.3训练..............................329

13.3.4一个生成对抗网络的具体实现：DCGAN..........330

13.3.5模型分析...........................330

13.3.6改进模型...........................333

13.4总结和深入阅读...........................336

第14章 深度强化学习339

14.1强化学习问题.............................340

14.1.1典型例子...........................340

14.1.2强化学习定义........................340

14.1.3马尔可夫决策过程......................341

14.1.4强化学习的目标函数....................343

14.1.5值函数............................344

14.1.6深度强化学习........................345

14.2基于值函数的学习方法.......................346

14.2.1动态规划算法........................346

14.2.2蒙特卡罗方法........................349

14.2.3时序差分学习方法......................350

14.2.4深度Q网络..........................353

14.3基于策略函数的学习方法......................354

14.3.1REINFORCE算法......................356

14.3.2带基准线的REINFORCE算法...............356

14.4演员-评论员算法...........................358

14.5总结和深入阅读...........................360

第15章 序列生成模型365

15.1序列概率模型.............................366

15.1.1序列生成...........................367

15.2N元统计模型.............................368

15.3深度序列模型.............................370

15.3.1模型结构...........................370

15.3.2参数学习...........................373

15.4评价方法...............................373

15.4.1困惑度............................373

15.4.2BLEU算法..........................374

15.4.3ROUGE算法.........................375

15.5序列生成模型中的学习问题.....................375

15.5.1曝光偏差问题........................376

15.5.2训练目标不一致问题....................377

15.5.3计算效率问题........................377

15.6序列到序列模型...........................385

15.6.1基于循环神经网络的序列到序列模型...........386

15.6.2基于注意力的序列到序列模型...............387

15.6.3基于自注意力的序列到序列模型..............388

15.7总结和深入阅读...........................390

附录数学基础 393

附录A 线性代数 394

附录B 微积分 404

附录C 数学优化 413

附录D 概率论 420

附录E 信息论 433

索引 439