禁止自主杀手机器人势在必行

上周，未来生命研究所 (FLI) 发布了一封公开信，呼吁禁止自主武器。该研究所将这些武器定义为“无需人工干预即可选择和攻击目标”的系统，并提出，“人工智能 (AI) 技术已经发展到这样的地步，即使法律上不合法，但这种系统的部署在几年内（而不是几十年内）也是可行的……”

但这封信的内容无关紧要。这是一份简洁的 437 字的文件，更像是 Facebook 帖子而不是战斗口号。这也是 FLI 今年第二次就人工智能的危险发出此类警告。今年 1 月，他们发布了一封关于人工智能安全的公开信，提到了隐私和工伤问题，以及可能消灭人类的机器的生存威胁。该文件引起了广泛关注，很大程度上是因为伊隆·马斯克和斯蒂芬·霍金等名人签署了这份公开信。现在，两人也签署了这封新信。

但马斯克和霍金的参与也并不引人注目。他们过去曾公开表达过对人工智能的尖锐而毫无根据的恐惧，使用的语言和逻辑是科幻小说，而不是任何基于研究的结论。他们的偏见是确定的，尽管他们在其他问题上显然才华横溢，但这个话题超出了他们的专业和学术范围。霍金研究高能物理，最著名的一次是在 2014 年电影《超验骇客》的一篇专栏文章中对人工智能表示担忧。马斯克的许多未来主义企业尚未包括人工智能。甚至马斯克个人投资的人工智能公司 Vicarious 的联合创始人也有效地揭穿了他的说法，即研究人员实际上正在努力避免失控的机器智能爆发世界末日。

那么，如果不是其内容或其最著名的签署人的话，FLI 的信件还有什么重要的呢？

几乎所有人工智能和机器人领域的大佬都支持该提案。目前，签名者队伍不断壮大，其中包括 50 多名谷歌工程师和研究人员，其中许多人来自 DeepMind，谷歌去年以 4 亿美元收购了这家人工智能公司。Facebook 人工智能研究主管 Yann LeCun 和蒙特利尔大学人工智能研究员 Yoshua Bengio 也位列其中。他们是深度学习领域的先驱，深度学习是人工智能的一个分支，通常与创造真正像人类一样的机器智能的潜力有关。当我采访他们，讲述人工智能恐慌的危险时，他们认为这种担忧基本上无关紧要，而且对这个领域有害。就 Bengio 而言，他甚至担心研究人员会成为被欺骗将人工智能视为世界末日威胁的人的目标。然而，正是那些担心对任何机器人的强烈反对日益增加的人，却支持禁止自主武器的想法。

我们正在目睹的是一个必然事件的开始。

我们看到的是一个必然性的开始。这封公开信是在第二次联合国关于禁止致命自主武器系统（LAWS，在禁令的语境中，这是一个不幸的缩写）的会议之后发表的。这些会议尚未达成具有约束力的协议或提案，并且是以持续讨论的形式呈现的，而不是政治的前奏。但 FLI 信的最后一句话更直接。“开始军事人工智能军备竞赛是一个坏主意，应该通过禁止超出人类有效控制的进攻性自主武器来防止这种情况发生。”

人权组织希望禁止这些系统。大量人工智能研究人员和机器人专家也持同样的观点。随着自动杀人机器变得更加可行，或真正进入战场，这种共识只会越来越强烈。这是一项注定要失败的技术。

然而，剩下的问题并不简单或显而易见：我们到底要禁止什么？什么时候禁止？

* * *

反自主武器运动的核心目标可以用一个术语来概括：有意义的人类控制。

您可以从这三个词中读出很多东西，包括一些误解。虽然他们队伍中存在一些边缘分子，但大多数 LAWS 的批评者并不担心终结者式的机器人起义。控制武装机器的愿望是为了保留人类杀戮的决定权。不允许机器人决定何时使用致命武力有哲学原因——例如，这应该是一个艰难的决定，需要付出情感代价——也有更实际的考虑。FLI 的信函警告了扩散的风险，由于其最终的低成本和固有的易用性，“自主武器将成为未来的卡拉什尼科夫冲锋枪。”如果任何人都可以部署一群一次性炸弹携带机器人，那么是什么阻止了它们被所有人使用呢？

丹佛大学政治学家、客座教授 Heather Roff 也担心 LAWS 会造成一种新的无罪暴行，杀害旁观者或让敌人投降都可能被归咎为故障。“突然间，一切都变成了意外，”Roff 说。“战争罪不再有定义，因为没有意图。”在 LAWS 进入战场之前，滥用自主力量和真正的故障之间的界限似乎已经模糊不清了。

2013 年，一家名为 Article 26 的英国非营利组织创造了“有意义的人类控制”一词，试图确定自主武器的批评者真正寻求的是什么。但尽管该术语在统一反对 LAWS 的情绪方面很有效，但人们并没有真正理解它的含义。“它为我们提供了一个非常有用的分析框架，”霍夫说。“在过去的一年里，有意义的人类控制在论文和演讲中被频繁引用。现在的问题是，是的，我们都喜欢它的发音，但它到底是什么意思呢？”

因此，罗夫和第 26 条正在合作开展一项研究项目，以探索有意义的人类控制的具体参数。这包括让反对 LAWS 的社区更加具体地了解他们反对的是什么，以帮助编纂他们提出的建议。在过去的六个月里，罗夫一直在建立一个半自动杀手数据库，首先从五个出口和进口武器最多的国家开始。“每个人都在讨论人工智能、自主武器和半自主武器，”罗夫说，“但似乎对它们的含义以及我们在谈论的内容缺乏了解。”

例如，海军舰艇上的 Phalanx 系统可以扫描地平线以寻找来袭导弹并随时向目标开火，而 Harab 无人机则可以在某区域上空盘旋，然后俯冲到它探测到的第一个雷达发射器上（假设它在毒刺导弹或类似的地对空导弹发射器上引爆）？在新系统出现后，我们将使用什么标准来确定哪些系统可能在可能的禁令下完全失效？

7 月 1 日，罗夫和 Article 26 获得了 FLI 的 104,000 美元资助，用于资助一年的自主武器系统研究。这笔钱是埃隆·马斯克捐赠的 1000 万美元的一部分，将分配给 AI 安全相关项目的提案。尽管罗夫仍在寻找另一年的资金（该提案规划了两年的研究），但她终于可以支付研究生参与的费用，并投入更多时间研究武器的自主性以及有意义的控制究竟是什么。

举个例子来说明这种基础研究的重要性。如果为了避免造成任何涉及杀人的丑陋后果，一个国家开发了严格反物质的无人机，这意味着它们只能攻击其他无人机。这似乎可以反驳人们对伊斯兰国等组织不会受到 LAWS 禁令约束的担忧。一群无人机猎人将成为机器人版的导弹防御系统，就像那些舰载 Phalanx 系统一样。问题解决了，对吧？

但是，当反无人机群在平民人群中发现敌方机器人时会发生什么？如果像 Phalanx 一样，无人机的设计速度比人类的反应速度更快（人类可能需要在几分钟内提示并批准 1000 个不同的目标），它们可能会立即采取行动，降落并在平民附近自毁。当局可能会对这相当于附带损害表示遗憾，并可能指责对方在自主交战规则上找到漏洞。现在，在世界各地的各种冲突中以无数种方式重复这一事件。更不用说 LAWS 可能被用于秘密行动，各国政府否认参与了暗杀。“突然间，世界看起来更加暗淡，”罗夫说。“人工智能开始变得非常可怕。”

* * *

过去，我曾认为那些提倡禁止 LAWS 的研究人员和人权组织是在浪费时间和资源。军方没有人希望拥有这样一种系统，只需一行糟糕的代码就能向其人员发射友军火力。

我的错误真是令人尴尬。

反对 LAWS 的社区普遍认为，当你从五角大楼获取的材料（例如 DARPA 的征求建议书或美国海军对战争走向的预测）中读出字里行间的意思时，就会发现自主武器即将问世。但我并不完全相信。这些言论有些连贯性，令人不安地接近阴谋论。互联网带来了对国防工业一举一动的迫切需要的审查，我的观点是，在一个国家尝试开发之前，为什么要费心去争论机器人无数应用中的某一个呢？这个领域已经充满了荒诞的恐惧。横冲直撞的杀戮机器人是另一个科幻小说激发的狂热梦想。

但我当时并没有意识到这个问题的复杂性，也没有意识到机器人研究人员的这种日益增长的势头。罗夫的工作只是众多尝试将数据和科学严谨性应用于最初充满激情但又有些模糊的政治论点的例子之一。

然而，最让我尴尬的是，我忽略了一个显而易见的观点：禁止自主武器没有坏处。随着罗夫等研究人员积极规划此类法规的参数，很明显，禁止 LAWS 不会是对其他类型自主机器人的全面限制。而国际禁令将为各国提供政治选择，以应对部署这些武器的政府。

唯一的危害是等待自主武器开始杀人。

唯一的危害是等待自主武器开始杀人。如果我们能在第一次核战争中第一场阴云笼罩士兵之前就禁止化学武器，在第一次世界大战中直接杀死了 30,000 到 90,000 名士兵（估计数字相差很大），并导致其他人患上未知数量的致命癌症，那会怎样？如果公众在 20 世纪 40 年代核武器研发过程中就知道核武器，那会怎样？广岛和长崎等城市可能仍会成为目标，并遭到常规武器的轰炸。原子弹辩护者认为，如果日本没有被一种可怕的新技术震惊而投降，这种技术能够用一枚炸弹夷平整座城市，那么盟军可能会有更多的生命丧生。然而，当面临放射性末日武器全球扩散的前景时，世界至少会考虑禁止制造这种武器，这还有什么疑问吗？

事后看来，全面或至少部分禁止化学武器和核武器似乎是不可避免的。这些行动对成千上万的受害者来说为时已晚。自主武器可能永远不会被视为不人道或破坏政治稳定，但无论是有意还是无意，增加痛苦和混乱的可能性几乎不值得自动化杀伤带来的好处。我们有一个独特的机会，可以在悲剧发生之前，在出现失控扩散的机会之前，预先阻止一些悲剧的发生。

我甚至无法全力以赴地去论证这一点，因为它显然是自发产生的。但要使这项不可避免的禁令有效，像罗夫这样的研究人员已经做好了充分准备。任何此类法规的学术基础都必须以数据为驱动，尊重人类尊严，而不仅仅是和平主义者。“我是一个正义战争理论家，所以这意味着有时我认为战争是可以的，”罗夫说。“这需要仔细思考这个问题。因为技术不是价值中立的。它带有价值观。”