摘自：20 世纪 80 年代及以后对人工智能的预测

为了纪念 150 周年，我们重新回顾了科普故事（成功和失败），这些故事有助于定义科学进步、理解和创新，并增加了一些现代背景。探索整个档案系列并查看我们所有的周年报道。

社会心理学家弗兰克·罗森布拉特 (Frank Rosenblatt) 对大脑力学有着极大的热情，他仿照人脑的神经网络建立了一个计算机模型，并训练它识别简单的模式。他将这个基于 IBM 704 的模型称为感知器。《纽约时报》的一篇标题称它是“旨在阅读和变得更聪明的计算机胚胎”。 《大众科学》称感知器为“学习的机器”。当时，罗森布拉特声称“有可能制造出可以在流水线上自我复制并意识到自己存在的大脑。”这一年是 1958 年。

许多人批评罗森布拉特的人工智能方法在计算上不切实际，而且过于简单。图灵奖得主马文·明斯基 (Marvin Minsky) 于 1969 年出版了一本批判性书籍，标志着被称为“人工智能寒冬”的时期的开始，当时很少有资金投入此类研究——尽管在 80 年代初有过短暂的复兴。

在 1989 年的《大众科学》文章《类脑计算机》中，科学和医学作家 Naomi Freundlich 是第一批预测到那个漫长寒冬将消融的记者之一，这个寒冬一直持续到 90 年代。甚至在被认为是现代深度学习技术创始人之一的 Geoffrey Hinton 于 1992 年在《科学美国人》上发表开创性解释之前，Freundlich 的报道就对未来二十年人工智能的发展提供了最全面的见解之一。

“更复杂的神经网络的复兴，”弗伦德利希写道，“很大程度上是因为低成本内存、更强大的计算机能力和更复杂的学习规则的出现。”当然，1989 年缺少的要素是数据——大量标记和未标记的信息，今天的深度学习神经网络需要吸收这些信息来训练自己。从 20 世纪 90 年代末开始，互联网的快速扩张使得大数据成为可能，再加上弗伦德利希提到的其他要素，人工智能得以释放——这距离罗森布拉特首次发明感知器已过去了近半个世纪。

“脑式计算机” （Naomi J. Freundlich，1989 年 2 月）

我走进哥伦比亚大学的半圆形演讲厅，在拥挤的阶梯式走廊中寻找座位。一阵兴奋的嗡嗡声渐渐消失，只剩下几声咳嗽和纸张沙沙作响的声音，这时，一个戴着圆形金属框眼镜的年轻人走向讲台，腋下夹着一台便携式立体声磁带播放器。他穿着粗花呢夹克和灯芯绒裤，看起来像常春藤盟校的学生，正准备为我们播放他最喜欢的摇滚乐。但相反，当他按下“开机”按钮时，一串含糊不清的婴儿语——更确切地说，是婴儿电脑语——涌了出来。起初听不懂，实际上只是一阵阵的声音，这个儿童机器人的声音一遍又一遍地重复着这串声音，直到它变成了十个清晰的单词。

约翰霍普金斯大学的生物物理学家 Terrence Sejnowski 表示：“这是一段录音，记录了一台计算机在一夜之间学会了如何发音英文文本。”欢呼的人群爆发出热烈的掌声。Sejnowski 刚刚演示了一台“学习型”计算机，这是首批全新人工智能机器之一。

这些计算机被称为神经网络，大致模仿了大脑中相互连接的神经元或神经细胞网络。它们代表了科学家对人工智能思维方式的巨大变化——倾向于对大脑功能进行更字面的解释。原因是：尽管当今的一些计算机是能够以惊人速度处理数字的极其强大的处理器，但它们无法完成儿童轻而易举完成的任务——识别人脸、学习说话和走路或阅读印刷文本。据一位专家称，一个人的视觉系统可以处理的图像比世界上所有超级计算机加起来还要多。这些任务需要大量包含所有可能变量的规则和指令。神经网络不需要这种编程，而是像人类一样，它们似乎通过经验来学习。

对于军事来说，这意味着目标识别系统、自动导航坦克，甚至追踪目标的智能导弹。对于商业世界，神经网络有望实现手写和面部识别系统以及计算机贷款人员和债券交易员。而对于制造业，质量控制视觉系统和机器人控制只是其中两个目标。

人们对神经网络的兴趣呈指数级增长。最近在圣地亚哥举行的一次会议吸引了 2,000 名参与者。超过 100 家公司正在研究神经网络，其中包括几家已经开始销售神经网络软件和外围设备的小型初创公司。一些计算机巨头，如 IBM、AT&T、德州仪器、日本电气公司和富士通，也在全力推进研究。美国国防高级研究计划局 (DARPA) 去年发布了一项研究，建议在八年内为神经网络提供 4 亿美元的资金。这将是该机构有史以来最大的项目之一。

自计算机科学诞生之初，大脑就一直是新兴机器的典范。但与大脑相比，如今的计算机不过是被美化的计算器。原因在于：计算机只有一个处理器，按照编程指令运行。每个任务被分成许多小步骤，每次执行一个步骤，速度很快。这种流水线方法使计算机容易受到加州高速公路上常见情况的影响：一辆熄火的汽车（一个无法解决的步骤）可能会无限期地堵塞交通。相比之下，大脑由数十亿个神经元或神经细胞组成，每个神经元或神经细胞都与数千个其他神经元或神经细胞相连。一项特定任务需要整个神经元场的活动；它们之间的通信路径可以找到解决方案。

人们对神经网络的热情由来已久，“大脑制造者”也不例外。伊利诺伊大学和芝加哥大学的精神病学家沃伦·S·麦卡洛克和他的学生沃尔特·H·皮茨在 20 世纪 40 年代初开始研究神经元作为逻辑装置。他们写了一篇文章，概述了神经元如何通过电化学方式相互通信：神经元从周围的细胞接收输入。如果输入的总和为正且高于某个预设阈值，则神经元将激活。例如，假设一个神经元的阈值为 2，并具有两个连接 A 和 B。只有当 A 和 B 同时开启时，神经元才会开启。这称为逻辑“与”运算。另一个称为“包含或”的逻辑运算是通过将阈值设置为 1 来实现的：如果 A 或 B 开启，则神经元开启。如果 A 和 B 同时开启，则神经元也开启。

1958 年，康奈尔大学心理学家 Frank Rosenblatt 使用数百个这样的人工“神经元”开发出一种两层模式学习网络，即感知器。Rosenblatt 系统的关键在于它能够学习。在大脑中，学习主要通过修改神经元之间的连接来实现。简而言之，如果两个神经元同时活跃且相连，那么它们之间的突触（连接）就会变得更强。这种学习规则称为 Hebb 规则，是感知器学习的基础。使用 Hebb 规则，网络似乎可以“通过经验学习”，因为经常使用的连接会得到强化。突触的电子类似物是一个电阻器，在感知器中，电阻器控制着晶体管电路之间流动的电流量。

当时还建立了其他简单网络。斯坦福大学电气工程师 Bernard Widrow 开发了一台名为 Adaline（自适应线性神经元）的机器，它可以翻译语音、玩二十一点，并且比任何天气预报员都更准确地预测旧金山地区的天气。神经网络领域一直活跃到 1969 年。

那一年，麻省理工学院的 Marvin Minsky 和 ​​Seymour Papert（基于规则的人工智能领域的两大力量）写了一本名为《感知器》的书，书中批评感知器的设计“过于简单，不值得认真对待”。主要问题是：感知器是一个两层系统 - 输入直接导致输出 - 并且学习能力有限。Sejnowski 说：“Rosenblatt 和其他人想要做的基本上是用膝跳反射来解决难题。”

另一个问题是感知器在执行逻辑运算方面受到限制，因此它们只能解决明确定义的问题——例如在 L 和 T 之间做出决定。原因是：感知器无法处理第三个逻辑运算，即“异或”。此运算要求逻辑单元在 A 或 B 之一开启时开启，但如果两者都开启，则不开启。

加州山景城的神经网络顾问汤姆·施瓦茨 (Tom Schwartz) 认为，技术限制限制了感知器的成功。“罗森布拉特提出了多层感知器的概念，但如果没有良好的多层学习法则，神经网络的作用就会受到限制。”明斯基的书，加上感知器未能达到开发人员的期望，扼杀了神经网络的热潮。计算机科学家在传统人工智能（如专家系统）方面取得了进展。

地下连接

在明斯基的感知器发表和神经网络复兴之间的 15 年中，一些人称之为“黑暗时代”，一些顽固的“联结主义者”——神经网络的追随者——占了上风。其中一位是物理学家约翰·J·霍普菲尔德，他同时在加州理工学院和 AT&T 贝尔实验室工作。他在 1982 年撰写的一篇论文从数学上描述了神经元如何集体行动来处理和存储信息，并将神经网络中问题的解决与物理学中实现最低能量状态进行了比较。例如，霍普菲尔德展示了网络如何解决“旅行商”问题——找到穿过一组城市的最短路线，这是传统计算机长期以来无法解决的问题。这篇论文被认为重新激发了神经网络领域的活力。“在 1982 年发表这篇论文需要很大的勇气，”施瓦茨说。“霍普菲尔德应该被称为让神经网络起死回生的人。”

更复杂的神经网络的复兴很大程度上得益于低成本内存、更强大的计算机能力和更复杂的学习规则。这些学习规则中最重要的是所谓的反向传播，我在哥伦比亚大学听到的 Sejnowski 的 NetTalk 生动地说明了这一点。

在 NetTalk 和后续神经网络中，两层网络添加了第三层，称为隐藏层。这个隐藏层类似于大脑的中间神经元，它绘制出感觉神经元和运动神经元之间的路径。NetTalk 是一个神经网络模拟，有 300 个处理单元（代表神经元）和 10,000 多个连接，排列在三层中。在我听到的演示中，初始训练输入是一年级学生对话的 500 字文本。输出层由编码英语中 55 种可能的音素（离散语音）的单元组成。输出单元可以驱动数字语音合成器，该合成器从一串音素中产生声音。当 NetTalk 看到字母 N（例如在单词“can”中）时，它会随机（错误地）激活一组隐藏层单元，发出输出“ah”的信号。然后将此输出与模型（正确的字母到音素的翻译）进行比较，以数学方式计算错误。学习规则实际上是一个数学公式，它通过“分摊责任”来纠正这个错误——降低与 N 对应的隐藏层和与“啊”对应的输出之间的连接强度。“在 NetTalk 开始时，所有连接强度都是随机的，因此网络产生的输出也是随机的，”Sejnowski 说。“当我们改变权重以最小化错误时，网络很快就会开始掌握规律。它可以区分辅音和元音，并可以根据发音单个字母的特定方式做出更细微的区分。”

经过 1,000 个单词的训练，NetTalk 在一周内开发了一本包含 20,000 个单词的词典。“重要的是，网络不仅能够记住训练单词，而且还具有泛化能力。它能够预测从未见过的新单词，”Sejnowski 说。“这类似于人类在阅读‘Jabberwocky’时进行泛化的方式。”

泛化是神经网络的一个重要目标。为了说明这一点，霍普菲尔德描述了他两年前夏天在新泽西州蒙茅斯堡研究的一个弹药识别问题。“假设一个营需要识别未爆炸的弹药，然后才能解除它，”他说。“不幸的是，它可能有 50,000 种不同的硬件。传统计算机会使用树状决策过程进行识别，”霍普菲尔德说。“第一个决定可能基于弹药的长度。”但有一个问题：“事实证明，弹药的头部埋在沙子里，显然士兵不能出去测量它的长度。虽然你有很多信息，但总会有一些你不被允许获取的信息。因此，你无法通过树状结构进行识别。”

霍普菲尔德认为，从神经网络的角度来看，这类问题是可以解决的。“有了神经网络，你就可以知道弹药的 30 条信息中的 10 条，并得到答案。”

除了通用性之外，神经网络的另一个重要特征是它们“优雅地退化”。人类的大脑处于不断退化的状态——一个晚上的饮酒消耗了数千个脑细胞。但由于整个神经元领域都参与每一项任务，因此一些神经元的损失并不明显。神经网络也是如此。斯坦福大学心理学家和神经网络研究员戴维·鲁梅尔哈特解释说：“网络的行为不是由一个小的局部部分决定的，而是由网络中所有单元的相互作用决定的。如果你删除其中一个单元，这并不重要。删除传统计算机中的一个组件通常会使计算停止。”

模拟网络

尽管神经网络可以用电线和晶体管构建，但根据 Schwartz 的说法，“人们谈论的神经网络中 99% 实际上是在传统处理器上运行的神经网络的软件模拟。”模拟神经网络意味着以数学方式定义分配给它的节点（处理器）和权重（自适应系数）。“每个元素的处理由一个数学公式决定，该公式将元素的输出信号定义为刚刚到达的输入信号和本地内存中存在的自适应系数的函数，”Hecht-Nielsen Neurocomputer Corp 总裁 Robert Hecht-Nielsen 解释说。

一些公司，例如圣地亚哥的 Hecht-Nielsen Neurocomputer、加州圣何塞的 Synaptics Inc. 以及最近的 Nippon Electric Co.，都在销售与传统计算机相连的特制接线板。神经网络在接线板上进行模拟，然后通过软件集成到 IBM PC 型机器上。

其他公司正在提供神经网络的商业软件模拟。其中最成功的是 Nestor, Inc.，这是一家位于罗得岛州普罗维登斯的公司，该公司开发了一个软件包，允许用户在台式计算机上模拟电路。到目前为止，已经开发了几个特定于工作的神经网络。它们包括：签名验证系统；读取支票上手写数字的网络；帮助筛选抵押贷款的网络；识别异常心率的网络；以及另一个可以识别 11 种不同飞机的网络，无论观察角度如何。

包括本迪克斯航空航天公司、TRW 和宾夕法尼亚大学在内的几家军事承包商也在推进神经网络信号处理训练网络，例如通过雷达或声纳模式识别敌方车辆。

不过，还是有一些团队专注于神经网络芯片的研究。贝尔实验室由固态物理学家拉里·杰克尔领导的团队构建了一个实验性的神经网络芯片，该芯片有 75,000 个晶体管和 54 个简单处理器阵列，这些处理器通过电阻网络连接。该芯片大小与一角硬币相当。贝尔实验室还开发了一种芯片，其中包含 14,400 个人工神经元，该神经元由感光非晶硅制成，并沉积在玻璃上形成薄膜。当幻灯片在胶片上投影数次时，图像就会存储在网络中。如果网络只显示图像的一小部分，它就会重建原始图片。

最后，在 Synaptics，加州理工学院的 Carver Mead 正在设计仿照人类视网膜和耳蜗建模的模拟芯片。

宾夕法尼亚州匹兹堡卡内基梅隆大学高级研究员斯科特·E·法尔曼表示：“为一个网络开发芯片可能需要两三年时间。”问题在于，布置所有互连线路的过程需要先进的技术。在数字机器上模拟网络可以让研究人员在投入硬件之前寻找最佳架构。

廉价仿制品

Hecht-Nielsen 表示：“目前至少有 50 种不同类型的网络正在研究中或开发用于应用。它们之间的差异主要在于所实施的学习规则和连接的拓扑结构（详细映射）。”这些网络大部分被称为“前馈”网络 - 信息在分层网络中从输入传递到隐藏单元，最后传递到输出。

约翰·霍普菲尔德不确定这是否是神经网络的最佳架构。“神经生物学中存在大量反馈。通过层与层之间或层与层之间的互连，可以建立连接。从计算的角度来看，这让系统更加强大。”

这种批评引发了一个问题：神经网络需要多紧密地模拟大脑。法尔曼说，神经网络研究人员和神经生物学家是“松散耦合”的。“神经生物学家可以告诉我，要考虑的元素数量应该是数百亿。他们可以告诉我，每个神经元的正确互连类型是一千或一万。他们可以告诉我，似乎没有太多的反向流动通过神经元，”他说。但不幸的是，他补充道，“他们无法提供有关神经元突触中究竟发生了什么的信息。”

根据 DARPA 的研究，神经网络距离实现人脑的连接还有很长的路要走；就这一点而言，蟑螂看起来就像个天才。DARPA 预计，五年内神经网络的电子“神经元”将接近蜜蜂神经系统的复杂性。这种复杂性将允许使用多种传感器进行隐形飞机探测、战场监视和目标识别等应用。该机构研究副主任 Craig I. Fields 评论道：“与智能武器相比，蜜蜂非常聪明。蜜蜂可以躲避。蜜蜂可以选择路线和目标。”

一些文本已被编辑以符合当代标准和风格。