人工智能中的深度结构学习

译者序

1　引言1

1.1　如何训练深度结构3

1.2　中间层表示：在不同的任务中共享特征和抽象4

1.3　学习人工智能的必经之路5

1.4　本书大纲6

2　深度结构的理论优势8

2.1　计算复杂性10

2.2　一些非正式的论证11

3　局部与非局部泛化性13

3.1　局部模板匹配的局限性13

3.2　学习分布式表示17

4　具有深度结构的神经网络19

4.1　多层神经网络19

4.2　训练深度神经网络的挑战20

4.3　深度结构的无监督学习25

4.4　深度生成结构26

4.5　卷积神经网络28

4.6　自动编码器29

5　能量模型和玻尔兹曼机31

5.1　能量模型和专家乘积系统31

5.2　玻尔兹曼机34

5.3　受限玻尔兹曼机36

5.4　对比散度39

目　　录Ⅴ

6　深层结构的逐层贪心训练46

6.1　深度置信网络的逐层训练46

6.2　堆叠自动编码器训练48

6.3　半监督与部分监督训练49

7　受限玻尔兹曼机和自动编码器的变体51

7.1　自动编码器和受限玻尔兹曼机的稀疏化表示51

7.2　降噪自动编码器55

7.3　层内连接56

7.4　条件ＲＢＭ和时序ＲＢＭ 57

7.5　分解式ＲＢＭ 59

7.6　受限玻尔兹曼机和对比散度的推广59

8　ＤＢＮ各层联合优化中的随机变分边界62

8.1　将ＲＢＭ展开为无限有向置信网络62

8.2　逐层贪心训练的变分证明64

8.3　所有层的联合无监督训练66

9　展望69

9.1　全局优化策略69

9.2　无监督学习的重要性72

9.3　开放的问题73

10　总结76

致谢78

参考文献79