人工神经网络导论

前言

1 引论

1. 1 智能与思维科学

1. 1. 1 智能

1. 1. 2 思维科学

1. 1. 3 思维的类型

1. 2 人工智能

1. 2. 1 人工智能的概念

1. 2. 2 人工智能的发展简史

1. 2. 3 人工智能的研究目标

1. 2. 4 人工智能研究的基本内容

1. 2. 5 人工智能的研究途径

1. 2. 6 人工智能的研究领域

1. 3 人工神经网络概述

1. 3. 1 人工神经网络研究简史

1. 3. 2 人工神经网络研究基本内容

1. 3. 3 人工神经网络分类

2 基础知识

2. 1 人脑神经系统的构成

2. 1. 1 小脑

2. 1. 2 间脑

2. 1. 3 脑干

2. 1. 4 大脑

2. 2 人脑神经细胞工作概况

2. 2. 1 神经细胞的基本结构

2. 2. 2 信号在轴突内的传递

2. 3 人工神经网络的构思

*2. 4 系统的稳定性

2. 4. 1 动力系统

2. 4. 2 自治系统与非自治系统

2. 4. 3 奇点与常点. 稳定性

2. 4. 4 奇点的稳定与渐近稳定

2. 4. 5 极限环的稳定性

2. 4. 6 一般运动稳定性概念 Lyapunov稳定性

2. 4. 7 稳定性的定性理论

2. 4. 8 系统轨道稳定性

2. 4. 9 结构稳定性

2. 4. 10 稳定性在神经网络设计中的重要性

**2. 5 混沌与神经网络

2. 5. 1 动力学系统

2. 5. 2 稳态行为与极限集

2. 5. 3 庞加莱映射

2. 5. 4 极限集的稳定性

2. 5. 5 维数

3 神经元模型

3. 1 神经元的通用功能模型

3. 1. 1 输入区

3. 1. 2 处理区

3. 1. 3 输出区

3. 2 简单线性神经元

3. 3 位势神经元

3. 4 逻辑神经元

3. 4. 1 功能函数用逻辑函数表示

3. 4. 2 功能函数用表格形式表示

3. 4. 3 逻辑函数拓广到连续变量

3. 5 势态神经元

3. 6 其他神经元

3. 6. 1 G神经元模型

3. 6. 2 RM元

4 联接方式

4. 1 分层神经元网的一般结构

4. 2 联接矩阵图

4. 3 神经元网络的多层组织

5 训练和学习

5. 1 乘积学习规则

5. 1. 1 给定一个训练样本对时权矩阵的设计

5. 1. 2 给定多个训练样本对时权矩阵的设计

5. 2 关联学习

5. 2. 1 学习规则与公式

5. 2. 2 与乘积学习规则的区别

5. 2. 3 局限性与改进

5. 3 线性元网络的差值规则训练法

5. 3. 1 乘积规则的缺陷

5. 3. 2 基本差值规则 用于单层线性网络

5. 3. 3 基本差值训练算法的收敛性分析

5. 4 准线性元网络的差值规则

5. 4. 1 准线性神经元

5. 4. 2 多层准线性元网络 多层感知器, MLP 的反向传递算法（BP）

5. 5 随机训练

5. 5. 1 差值训练算法缺点

5. 5. 2 逃离局部最小点的策略

5. 5. 3 神经网络的随机训练法

5. 5. 4 随机训练算法的具体实施方案

6 前馈网络

6. 1 感知器

6. 1. 1 感知器模型

6. 1. 2 用来进行模式识别

6. 1. 3 用来实现逻辑函数

6. 1. 4 异或 XOR 问题

6. 2 多层感知器 MLP

6. 2. 1 多层感知器的功能

6. 2. 2 多层感知器的学习算法 反向传递算法

6. 2. 3 多层感知器存在的问题与局限性

6. 3 径向基函数 RBF 网络

6. 3. 1 RBF的基本功能

6. 3. 2 RBF网的学习算法

6. 3. 3 RBF网的扩展

6. 3. 4 RBF网的学习复杂度

6. 4 前馈网络与其他模式分类器

6. 4. 1 高斯分类器

6. 4. 2 混合高斯法与窗函数法

6. 4. 3 区分函数分类器

6. 4. 4 距离分类器

7 动态网络

7. 1 延时网络 TDNN

7. 2 双向联想存储

7. 2. 1 一些预备知识

7. 2. 2 双向联想存储

BAM

7. 3 Hopfield

7. 4 递归网络

7. 4. 1 神经元方程

7. 4. 2 学习算法

7. 4. 3 例子

7. 5 Bolzmann机

7. 5. 1 问题的提出

7. 5. 2 自联想Bolzmann机

7. 5. 3 异联想Bolzmann机

7. 5. 4 例子

8 竞争网络

8. 1 汉明网

8. 1. 1 汉明网的拓扑结构

8. 1. 2 权矩阵的计算 存储

8. 1. 3 神经元功能函数

8. 1. 4 网络的运行

8. 1. 5 Hamming网的优越性

8. 1. 6 实现独活型竞争 选极大 的其他网网络结构

8. 2 自组织特征映射

8. 2. 1 自组织特征映射的思想来源

8. 2. 2 自组织特征映射的网络模型

8. 2. 3 仿真实例

8. 2. 4 几点注意事项

8. 2. 5 关于SOFM的几点评论

8. 3 适应谐振网--ART1

8. 3. 1 Grossberg及其自适应谐振网理论

8. 3. 2 ART1拓扑结构

8. 3. 3 ART1的运行 无师学习算法

8. 3. 4 运行实例

8. 3. 5 ART1的优缺点

8. 4 自适应谐振网-ART2

8. 4. 1 ART2的拓扑结构

8. 4. 2 F1层短期记忆方程

8. 4. 3 F2层短期记忆方程

8. 4. 4 重置方程

8. 4. 5 学习议程

8. 4. 6 权初值的选取

8. 4. 7 对参数c, d的约束

8. 4. 8 ART2的学习算法

8. 4. 9 ART2的特点

8. 4. 10 仿真实例

8. 4. 11 ART2的另外两种结构

8. 4. 12 ART2的缺点

9 模糊自适应网

9. 1 模糊自适应谐振网 FuzzyART

9. 1. 1 基本思想

9. 1. 2 符号与术语

9. 1. 3 模糊自适应谐振算法

9. 1. 4 算法说明

9. 1. 5 算法的几何解释

9. 1. 6 例子

9. 1. 7 模糊自适应谐振网的缺点

9. 2 模糊极小一极大网

9. 2. 1 FMM网的输入空间

9. 2. 2 超盒. 模糊集与隶属函数

9. 2. 3 拓扑结构与神经元

9. 2. 4 网络的运行

9. 2. 5 网络的有师训练算法

9. 2. 6 例子

9. 2. 7 总结

9. 3 一般模糊极小一极大 GFMM 网

9. 3. 1 拓扑结构

9. 3. 2 超盒模糊集的隶属函数

9. 3. 3 学习算法

9. 3. 4 网络的运行

9. 3. 5 模拟例子

**9. 4 模糊格神经网络 FLNN

9. 4. 1 模糊格理论基础

9. 4. 2 模糊格神经网络

9. 4. 3 VL中包含测度的定义

9. 4. 4 实验结果

*9. 5 递归自组织模糊推理网络 RSONFIN

9. 5. 1 基本思想

9. 5. 2 RSONFIN的模型

9. 5. 3 RSONFIN的结构学习

9. 5. 4 参数学习

9. 5. 5例子

**10 统计学习理论

10. 1 学习理论的背景

10. 1. 1 预报函数估计模型

10. 1. 2 风险极小化问题准则

10. 1. 3 三种主要的学习问题

10. 1. 4 经验函数极小化推导准则

10. 1. 5 ERM与经典方法

10. 1. 6 学习理论的四部分

10. 2 学习过程一致性理论

10. 2. 1 学习理论的基本定理

10. 2. 2 一致收敛的充要条件

10. 2. 3 学习理论中的三个里程碑

10. 3 学习过程收敛率的界限

10. 3. 1 增长函数的结构

10. 3. 2 VC维数的等价定义

10. 3. 3 两个重要例子

10. 3. 4 不依赖于分布的学习过程收敛率

10. 3. 5

依赖分布 构造严格上界

10. 4 控制学习机泛化性能的理论

10. 5 构造性学习算法的理论

10. 5. 1 划分超平面法及其推广

10. 5. 2 示性函数的S型逼近与神经网络

10. 5. 3 最优划分超平面

10. 5. 4 支承向量机

10. 5. 5 为什么神经网络与支承向量机能够泛化

10. 6 结论

参考文献