持这个观点。只有如此我们才能从这些“有趣”的演示上升为真正科学的有说服力的结果。
所有这些意味着需要对大量的模型及其变体进行测试。幸运的是，随着极高速而又廉价的计算机的发展，现在可以对许多模型进行模拟。这样人们就可以检测某种设置的实际行为是否与原先所希望的相同，但即便使用最先进的计算机也很难检验那些人们所希望的巨大而复杂的模型。
“坚持要求所有的模型应当经过模拟检验，这令人遗憾地带来了两个副产品。如果一个的假设模型的行为相当成功，其设计者很难相信它是不正确的。然而经验告诉我们，若干差异很大的模型也会产生相同的行为。为了证明这些模型哪个更接近于事实，看来还需要其他证据，诸如真实神经元及脑中该部分的分子的准确特性。
另一种危害是，对成功的模型过分强调会抑制对问题的更为自由的想像，从而会阻碍理论的产生。自然界是以一种特殊的方式运行的。对问题过于狭隘的讨论会使人们由于某种特殊的困难而放弃极有价值的想法。但是进化或许使用了某些额外的小花招来回避这些困难。尽管有这些保留，模拟一个理论，即便仅仅为了体会一下它事实上如何工作，也是有用的。
我们对神经网络能总结出些什么呢？它们的基础设计更像脑，而不是标准计算机的结构，然而，它们的单元并没有真实神经元那样复杂，大多数网络的结构与新皮层的回路相比也过于简单。目前，如果一个网络要在普通计算机上在合理的时间内进行模拟，它的规模只能很小。随着计算机变得越来越快，以及像网络那样高度并行的计算机的生产商业化，这会有所改善，但仍将一直是严重的障碍。
尽管神经网络有这些局限性，它现在仍然显示出了惊人的完成任务的能力。整个领域内充满了新观点。虽然其中许多网络会被人们遗忘，但通过了解它们，抓住其局限性并设计改进它们的新方法，肯定会有坚实的发展。这些网络有可能具有重要的商业应用。尽管有时它会导致理论家远离生物事实，但最终会产生有用的观点和发明。也许所有这些神经网络方面的工作的最重要的结果是它提出了关于脑可能的工作方式的新观点。
在过去，脑的许多方面看上去是完全不可理解的。得益于所有这些新的观念，人们现在至少瞥见了将来按生物现实设计脑模型的可能性，而不是用一些毫无生物依据的模型仅仅去捕捉脑行为的某些有限方面。即便现在这些新观念已经使我们对实验的讨论更为敏锐，我们现在更多地了解了关于个体神经元所必须掌握的知识。我们可以指出回路的哪些方面我们尚不足够了解（如新皮层的向回的通路），我们从新的角度看待单个神经元的行为，并意识到在实验日程上下一个重要的任务是它们整个群体的行为。神经网络还有很长的路要走，但它们终于有了好的开端。
============================
①查尔斯·安德森（charlesanderson）和戴维·范·埃森提出脑中有些装置将信息按规定路线从一处传至另一处。不过这个观点尚有争议。
①该网络以一个早期网络为基础。那个网络被称为“自旋玻璃”，是物理学家受一种理论概念的启发而提出的。
①这对应于一个适定的数学函数（称为“能量函数”，来自自旋玻璃）的（局域）极小值。霍普菲尔德还给出了一个确定权重的简单规则以使网络的每个特定的活动模式对应于能量函数的一个极小值。
①对于霍普菲尔德网络而言，输出可视为网络存贮的记忆中与输出（似为“输入”之误——译者注）紧密相关的那些记忆的加权和。
①在1968年，克里斯托夫·朗格特-希金斯（christopherlonguet-higgins）从全息图出发发明了一种称为“声音全息记录器”（holophone）的装置。此后他又发明了另一种装置称为“相关图”，并最终形成了一种特殊的神经网络形式。他的学生戴维·威尔肖在完成博士论文期间对其进行了详细的研究。
(2)他们和其他一些想法接近的理论家合作，在1981年完成了《联想记忆的并行模式》，由杰弗里·希尔顿（geoffreyhinton）和吉姆·安德森编著。这本书的读者主要是神经网络方面的工作者，它的影响并不像后一本书那样广泛。
（1)pdp即平行分布式处理（paralleldistributedprocessing）的缩写。
①更准确他说是误差的平方的平均值在下降，因此该规则有时又叫做最小均方（lms）规则。
①29个“字母”各有一个相应的单元；这包括字母表中的26个字母，还有三个表示标点和边界。因而输入层需要29x7=203个单元。
②例如，因为辅音p和b发音时都是以拢起嘴chún开始的，所以都称作“chún止音”。
③中间层（隐层）最初有80个隐单元，后来改为120个，结果能完成得更好。机器总共需要调节大约2万个突触。权重可正可负。他们并没有构造一个真正的平行的网络来做这件事，而是在一台中型高速计算机上（一台vax11//780fpa）模拟这个网络。
①计算机的工作通常不够快，不能实时地发音，因而需要先把输出录下来，再加速播放，这样人们才能听明白。
②塞吉诺斯基和罗森堡还表明，网络对于他们设置的连接上的随机损伤具有相当的抵抗力。在这种环境下它的行为是”故障弱化”。他们还试验以11个字母（而不是7个字母）为一组输入。这显著改善了网络的成绩。加上第二个隐单元层并不能改善它的成绩，但有助于网络更好地进行泛化。
①除了上面列出的以外，nettalk还有许多简化。虽然作者们信奉分布式表达，在输入输出均有“祖母细胞”即，例如有一个单元代表“窗口中第三个位置上的字母a”。这样做是为了降低计算所需要的时间，是一种合理的简化形式。虽然数据顺序传入7个字母的方式在人工智能程序是完全可以接受的，却显得与生物事实相违背。输出的“胜者为王”这一步并不是由“单元”完成的，也不存在一组单元去表达预计输出与实际输出之间的差异（即教师信号）。这些运算都是由程序执行的。
②这种比较不太公平，因为神经网络的一个单元更好的考虑是等价于脑中一小群相神经元。因而更合适的数字大约是8万个神经元（相当于一平方毫米皮层下神经元的数目）。
①它是由斯蒂芬·格罗斯伯格、托伊沃·科霍宁等人发展的。
①我不打算讨论竞争网络的局限性。显然必须有足够多的隐单元来容纳网络试图从提供的输入中所学的所有东西，训练不能太快，也不能太慢，等等。这种网络要正确工作需要仔细设计。毫无疑问，不久的将来会发明出基于竞争学习基本思想的更加复杂的应用。
【打 印】 【来源：读书之家-dushuzhijia.com】
