人们常说要惧怕机器人。但我们为什么认为它们会攻击我们呢？

尽管新闻标题血腥，但客观数据显示，全世界人民的平均寿命更长、患病更少、吃更多食物、在学校度过更多时间、接触更多文化，而且死于战争、谋杀或事故的可能性也更小。然而，绝望却永无止境。当悲观主义者被迫承认越来越多的人的生活越来越好时，他们随时准备反驳。他们说，我们正兴高采烈地冲向灾难，就像那个从屋顶上掉下来的人，他经过每一层楼时都说“到目前为止一切都很好”。或者我们在玩俄罗斯轮盘赌，致命的几率一定会追上我们。或者我们将被一只黑天鹅突袭，这是一个四西格玛事件，位于危险统计分布的尾部，几率很低，但危害巨大。半个世纪以来，现代末日的四骑士分别是人口过剩、资源短缺、污染和核战争。最近，一支更加奇特的骑士队伍加入了他们的行列：将吞噬我们的纳米机器人、将奴役我们的机器人、将把我们变成原材料的人工智能，以及将在卧室里酿造种族灭绝病毒或关闭互联网的保加利亚青少年。这些熟悉的骑士的哨兵往往是浪漫主义者和卢德分子。但那些警告高科技危险的人往往是科学家和技术专家，他们运用自己的聪明才智，发现了更多世界即将终结的方式。2003 年，天体物理学家马丁·里斯出版了一本名为《我们的最后一刻》的书，他在书中警告说“人类可能是自己灭亡的制造者”，并列举了我们“危及整个宇宙的未来”的十几种方式。例如，粒子对撞机实验可以创造出毁灭地球的黑洞，或者压缩夸克的“奇异子”，导致宇宙中所有物质与其结合并消失。里斯挖掘出了灾变论的丰富内涵。该书的亚马逊页面指出，“浏览此商品的顾客也浏览了《全球灾难性风险》、《我们的最终发明：人工智能与人类时代的终结》、《末日：科学与宗教告诉我们的末日真相》和《僵尸世界大战：僵尸战争口述历史》。技术慈善家资助了致力于发现新的生存威胁并研究如何拯救世界的研究机构，包括人类未来研究所、生命未来研究所、生存风险研究中心和全球灾难性风险研究所。我们应该如何看待潜伏在我们渐进式进步背后的生存威胁？没有人能预言大灾变永远不会发生，本文也不包含这样的保证。气候变化和核战争是全球面临的严峻挑战。尽管这些问题尚未解决，但可以解决，而且已经制定了长期脱碳和无核化的路线图。这些进程正在顺利进行。世界每美元国内生产总值排放的二氧化碳越来越少，世界核武库也减少了 85%。当然，为了避免可能发生的灾难，必须将它们降至零。

然而，除了这些真正的挑战之外，还有一些更令人生疑的情况。一些技术评论员已经推测，我们可能会被人工智能 (AI) 有意或无意地征服，这种灾难有时被称为“机器人末日”，通常用《终结者》电影中的剧照来描述。一些聪明人认真对待这个问题（尽管有点虚伪）。埃隆·马斯克的公司生产人工智能无人驾驶汽车，他称这项技术“比核武器更危险”。斯蒂芬·霍金通过他的人工智能合成器发出警告，称它可能“意味着人类的末日”。但在这些没有失眠的聪明人中，大多数是人工智能专家，大多数是人类智能专家。

机器人末日基于一种模糊的智能概念，这种概念更多地源自存在之链和尼采的权力意志，而非现代科学理解。根据这种概念，智能是一种万能的、可以实现愿望的药水，代理拥有的量各不相同。

人类比动物拥有更多的智慧，未来的人工智能计算机或机器人（新可数名词用法中的“AI”）也将比人类拥有更多的智慧。由于我们人类利用我们适度的天赋驯养或消灭天赋较差的动物（而技术先进的社会奴役或消灭技术落后的动物），因此超级智能的人工智能也会对我们做同样的事情。由于人工智能的思考速度比我们快数百万倍，并利用其超级智能不断改进其超级智能（这种情况有时被称为“foom”，取自漫画书的音效），从它启动的那一刻起，我们将无力阻止它。

但这种设想与担心喷气式飞机的飞行能力已经超越了鹰，总有一天它们会从天上飞下来，夺走我们的牲畜一样不合情理。第一个谬误是混淆了智力和动机——信念和欲望，推理和目标，思考和欲望。即使我们发明了超人智能的机器人，它们为什么会想奴役主人或统治世界呢？智力是采用新方法实现目标的能力。但目标与智力无关：聪明并不等同于想要某种东西。恰巧，智人这个系统的智力是达尔文自然选择的产物，是一种固有的竞争过程。在该物种的大脑中，推理与诸如支配对手和积累资源等目标紧密相连（不同物种的推理程度不同）。但将某种灵长类动物边缘大脑中的回路与智力的本质混为一谈是错误的。一个经过设计而非进化而来的人工智能系统，可以像艾尔·卡普的连环漫画《小艾布纳》中的胖胖利他主义者 shmoos 一样轻松地思考，他们运用自己非凡的聪明才智，将自己烤熟，供人类食用。复杂系统并不存在任何定律，说智能代理必须变成无情的征服者。

第二个谬误是认为智能是一种无限的连续潜能，是一种能够解决任何问题、实现任何目标的神奇灵丹妙药。这种谬误会导致一些荒谬的问题，比如人工智能何时会“超越人类智能”，以及终极“通用人工智能”（AGI）具有上帝般的全知全能。智能是一种小玩意儿：软件模块可以获取或编程如何在各个领域实现各种目标的知识。人类有能力寻找食物、赢得朋友和影响他人、吸引潜在伴侣、抚养孩子、在世界各地活动以及追求其他人类痴迷和消遣。计算机可能被编程为解决其中一些问题（如识别面孔），不去理会其他问题（如吸引伴侣），以及解决人类无法解决的其他问题（如模拟气候或整理数百万份会计记录）。

问题各不相同，解决问题所需的知识也各不相同。拉普拉斯妖是个神话人物，他知道宇宙中每个粒子的位置和动量，并将它们输入物理定律方程，计算出未来任何时刻万物的状态。与此不同，现实生活中的知者必须通过一次接触一个领域来获取有关混乱的物体和人的世界的信息。理解并不遵循摩尔定律：知识是通过制定解释并根据现实进行测试而获得的，而不是通过越来越快地运行算法。吞噬互联网上的信息也不会带来全知：大数据仍然是有限的数据，而知识的世界是无限的。

出于这些原因，许多人工智能研究人员对最新一轮的炒作（人工智能的长期祸根）感到恼火，这种炒作误导了观察者，使他们认为通用人工智能即将到来。据我所知，目前还没有建立通用人工智能的项目，这不仅是因为它在商业上存在疑问，还因为这个概念几乎不连贯。可以肯定的是，2010 年代为我们带来了可以驾驶汽车、为照片添加字幕、识别语音并在 Jeopardy!、Go 和 Atari 电脑游戏中击败人类的系统。