自己动手写神经网络

第1章　人工神经网络概述\t1

1．1　人工智能与神经网络简史\t1

1．1．1　人工智能的诞生：1943～1956年\t2

1．1．2　黄金发展期：1956～1974年\t3

1．1．3　第一次低谷期：1974～1980年\t4

1．1．4　繁荣期：1980～1987年\t5

1．1．5　第二次低谷期：1987～1993年\t5

1．1．6　再次崛起：1993年至今\t6

1．2　生物学研究对神经网络的影响\t6

1．3　大数据对人工智能的影响\t8

1．4　计算机硬件发展对人工智能的影响\t9

1．5　计算机软件发展对人工智能的影响\t9

1．6　人工智能的广泛应用\t10

第2章　人工神经元模型与感知机\t12

2．1　人工神经元组成要素\t12

2．1．1　人工神经元的基本结构\t12

2．1．2　传输函数类型\t13

2．2　感知机\t15

2．2．1　使用感知机识别水果\t15

2．2．2　让感知机记忆逻辑与\t17

2．2．3　感知机的学习算法\t18

2．3　总结\t20

第3章　神经网络框架Neuroph介绍\t21

3．1　Neuroph是什么\t21

3．2　Neuroph系统的构成\t22

3．3　Neuroph Studio的功能展示\t22

3．3．1　使用Neuroph Studio构造感知机处理逻辑与\t23

3．3．2　使用Neuroph Studio进行动物分类实验\t28

3．4　Neuroph Library架构分析\t34

3．4．1　Neuroph Library核心架构\t35

3．4．2　Neuron神经元\t35

3．4．3　Layer层\t36

3．4．4　NeuralNetwork神经网络\t37

3．4．5　LearningRule学习算法\t37

3．4．6　DataSet和DataSetRow\t38

3．5　Neuroph开发环境搭建\t38

3．5．1　基础平台——Java介绍以及安装\t39

3．5．2　包管理工具——Maven安装\t39

3．5．3　开发工具——Eclipse安装\t40

3．6　总结\t41

第4章　使用Java实现感知机及其应用\t42

4．1　第一个Neuroph程序——使用感知机记忆逻辑与\t42

4．1．1　创建感知机网络\t42

4．1．2　理解输入神经元InputNeuron\t45

4．1．3　理解贝叶斯神经元BiasNeuron\t45

4．1．4　step传输函数是如何实现的\t46

4．2　让感知机理解坐标系统\t47

4．2．1　感知机网络的设计\t47

4．2．2　感知机网络的实现\t47

4．3　感知机学习算法与Java实现\t49

4．3．1　感知机学习规则的实现\t50

4．3．2　一个自学习的感知机实现——SimplePerceptron\t51

4．3．3　小试牛刀——SimplePerceptron学习逻辑与\t52

4．3．4　训练何时停止\t53

4．4　再看坐标点位置识别\t55

4．5　感知机的极限——异或问题\t57

4．6　总结\t58

第5章　ADALINE网络及其应用\t59

5．1　ADALINE网络与LMS算法\t59

5．2　ADALINE网络的Java实现\t60

5．3　使用ADALINE网络识别数字\t62

5．3．1　印刷体数字识别问题概述\t62

5．3．2　代码实现\t63

5．3．3　加入噪点后再尝试\t66

5．4　总结\t67

第6章　多层感知机和BP学习算法\t68

6．1　多层感知机的结构与简单实现\t68

6．1．1　多层感知机结构的提出\t68

6．1．2　定义多层感知机处理异或问题\t69

6．1．3　多层感知机的简单实现\t71

6．2　多层感知机学习算法——BP学习算法\t74

6．2．1　BP学习算法理论介绍\t74

6．2．2　BP学习算法与BP神经网络的实现\t77

6．3　BP神经网络细节优化\t84

6．3．1　随机化权值的方式\t84

6．3．2　Sigmoid函数导数的探讨\t86

6．4　带着算法重回异或问题\t87

6．5　总结\t89

第7章　BP神经网络的案例\t90

7．1　奇偶性判别问题\t90

7．1．1　问题描述\t90

7．1．2　代码实现\t90

7．2　函数逼近\t94

7．2．1　问题描述\t94

7．2．2　代码实现\t94

7．3　动物分类\t99

7．3．1　问题描述\t99

7．3．2　问题分析\t100

7．3．3　代码实现\t102

7．4　简单的语音识别\t104

7．4．1　问题描述\t104

7．4．2　代码实现\t104

7．5　MNIST手写体识别\t106

7．5．1　问题描述\t106

7．5．2　问题分析\t108

7．5．3　代码实现\t108

7．6　总结\t112

第8章　Hopfield神经网络\t113

8．1　Hopfield神经网络的结构和原理\t113

8．1．1　Hopfield网络的结构\t113

8．1．2　网络吸引子\t114

8．1．3　网络权值的设计\t115

8．2　网络的存储容量\t117

8．3　Hopfield神经网络的Java实现\t118

8．3．1　Hopfield网络构造函数\t118

8．3．2　Hopfield网络的神经及其特点\t119

8．3．3　Hopfield网络学习算法\t120

8．4　Hopfield网络还原带有噪点的字符\t121

8．5　Hopfield网络的自联想案例\t123

8．6　总结\t126

第9章　BAM双向联想记忆网络\t127

9．1　BAM网络的结构与原理\t127

9．2　BAM网络的学习算法\t128

9．3　使用Java实现BAM网络\t129

9．3．1　BAM网络的静态结构\t129

9．3．2　BAM网络学习算法\t130

9．3．3　BAM网络的运行\t131

9．4　BAM网络的应用\t133

9．4．1　场景描述——人名与电话\t133

9．4．2　数据编码设计\t134

9．4．3　具体实现\t136

9．5　总结\t140

第10章　竞争学习网络\t141

10．1　竞争学习的基本原理\t141

10．1．1　向量的相似性\t142

10．1．2　竞争学习规则\t143

10．2　自组织映射网络SOM的原理\t144

10．2．1　SOM网络的生物学意义\t144

10．2．2　SOM网络的结构\t144

10．2．3　SOM网络的运行原理\t145

10．2．4　有关初始化权重的问题\t146

10．3　SOM网络的Java实现\t147

10．3．1　SOM网络拓扑结构的实现\t147

10．3．2　SOM网络的初始权值设置\t150

10．3．3　Kohonen算法的实现\t153

10．4　SOM网络的应用\t157

10．4．1　使用SOM网络进行动物聚类\t158

10．4．2　使用SOM网络进行城市聚类\t161

10．5　总结\t164

第11章　PCA神经网络\t165

11．1　PCA方法概述\t165

11．1．1　PCA方法数学背景\t166

11．1．2　PCA计算示例\t167

11．2　PCA神经网络学习算法\t170

11．2．1　Oja算法\t170

11．2．2　Sanger算法\t171

11．3　基于Neuroph实现PCA网络\t172

11．3．1　Oja算法的实现\t172

11．3．2　Sanger算法的实现\t177

11．4　使用PCA网络预处理MNIST手写体数据集\t178

11．5　总结\t181