致所有害怕人工智能的人的一封公开信

本周早些时候，一个名为“未来生命研究所”的组织发布了一封公开信，主题是为人工智能系统 (AI) 建立安全措施。这封信以及随附的研究文件非常公正地阐述了人工智能研究人员如何最大限度地发挥这项技术的潜力。以下是这封信最不祥的一面，也就是说，一点也不不祥：

以下是 CNET 对这封信的报道标题：

与此同时，BBC 新闻则冒险走出恐慌，发表了以下谎言：

我想这是最低点了。谈到机器人和人工智能，记者不可能再无知了，或者冷酷地吸引流量。读者在某个时候会厌倦点击相同的尖锐标题，引用相同的非人工智能研究人员——具体来说是埃隆·马斯克和斯蒂芬·霍金——发表相同的世界末日宣言。随着时间的推移，恐惧贩卖总会失去其优势，即使是最有害的媒体报道也有一个固有的半衰期。但它永远不会停止。

忘记未来几十年机器给我们带来的危险吧。2015 年更切题的问题是，是否有人会保护人类免受故意无知的记者的伤害。

***

当你报道人工智能时，这看起来就像是让自己出丑。

首先，尽量少做报道。在这种情况下，这意味着阅读网上发布的公开信，而不要费心采访参与撰写这封信的任何人。以 CNET 和 BBC 的故事为例，这两篇报道都没有引用或澄清帮助整理这封信或其配套研究文件的研究人员的话。这是速度的作用，但也是战术决定（无论是否有意识）。就像每一个围绕末日人工智能的疯狂警告的故事一样，你报道得越多，前提就越陈旧。该领域的专家倾向于指出，剧院并没有着火，当你的主要任务是让读者争先恐后地寻找出口时，这一点也不好玩。

加上一个标题，让人联想到骷髅机器人用脚踩踏人类头骨的景象，将复杂的变革性技术变成了一场狂欢节杂耍。

更快速、更戏剧性的行动方案是提供看似背景的信息，但实际上只是伊隆·马斯克和斯蒂芬·霍金在谈论一个不属于他们专长的话题。我之所以特别提到他们，是因为他们已经成为人工智能恐慌的集体声音。他们认为机器超级智能可能导致人类灭绝。他们对此的评论听起来很有道理，因为这些评论来自才华横溢的头脑，幸运的是没有媒体过滤。如果时间就是金钱，那么马斯克和霍金无休止地重复引用的名言对忙碌的记者和编辑来说就是金矿。除了一对天才公开担心人类的衰落之外，你还需要什么更多的背景信息呢？

而这就是报道一个无比重要的话题所需要的全部内容。从在线文档、之前的采访、推文和评论中剪切粘贴，加上一个让人联想到骷髅机器人踩踏人类头骨的标题，然后等待目标出现并目瞪口呆。这就是这种新闻对其创造者和消费者的影响。它把一项复杂而变革性的技术变成了一场嘉年华杂耍。实际上，这给了大多数人工智能报道太多赞誉。嘉年华工作人员努力工作以赚取工资。科技记者必须快速工作。

***

从某种程度上来说，这封公开信背后的故事比这封信本身更有趣。1 月 2 日，大约 70 名研究人员在波多黎各圣胡安的一家酒店举行了为期三天的人工智能安全会议。这是一次真正秘密的活动。未来生命研究所 (FLI) 至少提前六个月就计划好了这次会议，但却没有提前通知媒体，也没有邀请任何记者参加。即使是现在，活动组织者也不会提供完整的与会者名单。FLI 希望研究人员在周末的正式和非正式讨论中坦诚发言，不用担心被指责。

在电影中，这个神秘的会议由一个名字诱人的组织主办，而且是在热带地区举行，它可能会遭到弗兰肯斯坦怪物算法的先发制人攻击。或者，在更有耐心的电影制作人手中，结果会是第一幕：紧急呼吁立即停止所有人工智能研究（当然，被黑暗服务器机房里的叛逆疯子无视）。BBC 新闻和 CNET 的这些头条新闻在电影屏幕上会非常合适，表明全球对一个真正令人恐惧的声明的反应。

事实上，FLI 的公开信相当冷酷。单是标题——《强大而有益的人工智能的研究重点：一封公开信》——就应该能满足读者的期望。这封信提到了机器学习、神经科学和其他研究领域的进展，这些进展结合起来，为人工智能系统带来了有希望的结果。至于悲观和悲观，唯一相关的陈述是前面提到的关于“潜在陷阱”的句子，以及这句话：

坦白说，这封公开信已经够黑暗的了。在一份故意用乐观的语言表达的文件中，隐藏着几句略带讽刺的言论。签名者们希望“最大限度地发挥人工智能的社会效益”，信的结尾呼吁人们采取行动。

新闻媒体将这份文件解读为呼吁保护人类免受机器侵害，并控制人工智能研发。这也证明，许多记者在人工智能问题上并没有完全抓住重点。他们在骗你。

***

事实上，人工智能社区中确实有研究人员对超级人工智能问题极为担忧，这也是为什么 FLI 在这封信的配套文件中加入了关于这些担忧的部分。但这些研究人员也确实属于极少数。康奈尔大学计算机科学教授 Bart Selman 表示，这封公开信的目的是平息记者试图在公众中灌输的歇斯底里情绪，同时提出近期的担忧。其中一些问题很复杂，也很引人注目。抵押贷款公司的机器学习系统是否会因为过于深入地挖掘申请人的元数据而意外侵犯申请人的隐私，甚至可能违法？Selman 并不担心叛逆的算法，而是担心有缺陷或过于急切的算法。“这些系统通常被赋予相当高的目标。因此，确保它们不会通过与预期截然不同的方式实现目标是合理的研究目标，”Selman 说。 “我们面临的问题是，媒体，尤其是大众媒体，都倾向于超级智能和人工智能接管的极端角度。我们试图向他们表明，这是一个你可能会担心的角度，但对我们来说并不是那么大的担忧。”

当然，如果脱离上下文去理解，这样的言论可能会给他们试图扑灭的火焰火上浇油。塞尔曼参加了圣胡安会议，并为 FLI 的公开信和研究文件做出了贡献，他不能凭良心排除人工智能领域的未来结果。这种教条式的否定对一个负责任的科学家来说是令人厌恶的。但他也不介意对那些似乎专注于引导式人工智能前景的研究人员进行些许贬低，引导式人工智能意味着一个系统会突然变得更加智能和强大。塞尔曼说：“那些在这个领域工作了 20 到 30 年的人，他们比刚进入这个领域的人更了解这个复杂性和可扩展性的问题。”

人工智能研究的历史充满了理论基准和里程碑，唯一的障碍似乎是缺乏计算资源。然而，即使处理器和存储技术的发展速度超出了研究人员的预期，人工智能最有前途（或最可怕，取决于你的议程）应用的最后期限仍然停留在未来 10 年或 20 年的某个时间。我以前写过关于不可避免的超级智能神话的文章，但塞尔曼对这个问题的论述要简洁得多。他说，关键的错误在于混淆了原则和执行，并假设在给定系统上投入更多资源将引发能力的爆炸式增长。“计算机科学界人士非常清楚，即使你在原则上可以做某事，如果你有无限的资源，你可能仍然无法做到，”他说，“因为无限的资源并不意味着指数级的扩大。如果你确实有指数级的规模，那么突然间你就有 20 倍的变量。”引导 AI 是 AI 研究人员最可怕的噩梦，同时也是他们的梦想成真——他们不用连续数周埋头苦干同一段充满错误的代码，而是可以坐下来，看着代码自己运行。

这种对超级智能的恐惧的核心是一个目前无法回答的问题。“主流人工智能社区确实相信系统将在 10 年或 20 年内达到人类水平的智能，尽管我并不是指智能的所有方面，”塞尔曼说。例如，语音和视觉识别可能单独达到这一水平，但无需组成一个能够理解连幼儿都能理解的社交暗示的系统。“但计算机会成为伟大的程序员、伟大的数学家或其他需要创造力的人吗？这不太清楚。这存在一些真正的计算障碍，而且它们实际上可能是根本障碍，”塞尔曼说。虽然超级智能不必在可识别的人类思维过程中诞生——在其苦涩的抗议诗中引用《失乐园》 ——但它必须能够将自己编程为神。这样的事情在原则上可能吗，更不用说在实践中了？

FLI 希望人工智能社区能够探索这个问题，尽管并不急于解决。当我与该组织的创始人之一 Viktoriya Krakovna 交谈时，她对媒体对这封公开信的解读感到震惊，并且几乎只关注超级智能问题。“我们想表明，人工智能研究界是一个负责任的群体，他们正在努力打造有益的机器人和人工智能，”她说。相反，记者们把这封信描述成一种忏悔行为，惩罚 FLI 创建了一份足够全面的文件，包括研究失控人工智能问题的可能性——不是威胁，而是问题。

塞尔曼认为，这样的项目是“少数人”的工作，他们试图定义一个尚未研究甚至尚未定义的问题。他将其与理论物理学家所做的工作进行了比较，理论物理学家可能会将某些宇宙灾难的影响计算为一个纯粹的研究问题。在确定这种版本的末日在原则上可行之前，没有什么可以防范的。这是一个重要的区别，很容易被忽视。科学要想发挥作用，就必须关注可观测的宇宙，而不是用科学术语表达的迷信。

可悲的是，人工智能报道不再那么令人恐慌的可能性，就如同大型强子对撞机产生毁灭行星的黑洞一样渺茫。还记得那个容易理解的无聊故事吗？它是如何掩盖了粒子加速器的真正意义？说到报道科学技术这项艰难的工作，没有什么比威胁读者的生命更能吸引读者了。

更新：自从发表这篇文章以来，很明显我低估了 FLI 对立即采取行动应对超级智能的兴趣。或者，也许我低估了伊隆·马斯克的恐慌程度。马斯克今天宣布，他将“投入 1000 万美元支持旨在让人工智能造福人类的研究”，资助形式由 FLI 管理。“这是一个……负面结果范围很广的案例，其中一些结果相当严重。因此，我们是否能够从这些负面结果中恢复过来还不清楚，”马斯克在视频公告中表示。“你可以构建人类文明无法恢复的场景。”

就这样，记者们又爆出了另一条重磅消息——来自一位非人工智能研究人员的言论——帮助他们度过 2015 年的人工智能大恐慌。