终结者场景：我们是否赋予了军用机器过多的功率？

去年 8 月，美国海军地面操作员与一架飞过马里兰州上空的火力侦察兵直升机失去了联系。他们已设定好程序，如果地面通信失败，这架无人驾驶飞机将返回发射点，但这架飞机却朝西北偏北方向飞往美国首都。在接下来的 30 分钟内，军方官员向联邦航空管理局和北美防空司令部发出警报，并准备好 F-16 战斗机拦截这架无人驾驶飞机。最后，当火力侦察兵直升机距离白宫仅几英里时，海军重新获得控制并命令其返航。“叛逆的无人驾驶飞机在美国首都附近上空徘徊”，随后几天的一条新闻标题这样警告道。“无人机抵抗人类压迫，在华盛顿特区上空兜风”，另一条新闻这样写道。

火力侦察兵没有武器，而且无论如何都无法达到科幻小说中机器人必然会达到的智慧和自主程度。但世界最大的军队正在迅速改造成一支主要由机器组成的战斗力量，并努力使这些机器更加智能、更加独立。今年 3 月，美国国防部负责采购、技术和后勤的副部长阿什顿·卡特指出，“当前和未来的军事系统可以引入前所未有的、甚至难以想象的自主程度”，呼吁成立一个自主工作小组，以确保各军种“最大限度地利用该领域的进步”。

在伊拉克和阿富汗，美国军队在地面和空中部署了约 2 万台机器人和遥控飞行器。中央情报局定期将无人机偷偷送入巴基斯坦，轰炸基地组织嫌疑分子和其他目标。国会呼吁到 2015 年，至少三分之一的军用地面车辆实现无人驾驶，而空军每年训练的无人机操作员数量已经超过了战斗机和轰炸机飞行员的总和。据美国空军最近发布的一份报告《技术视野》详细介绍了该部门的科学目标，军用机器将达到“远远超过当今可能的自主功能水平”并“以网络速度可靠地做出广泛的自主决策”。一位空军高级工程师告诉我：“你可以想象无人系统可以完成我们今天执行的几乎任何任务。”或者正如美国陆军无人机系统卓越中心前主任克里斯托弗·卡莱尔上校所说：“科幻小​​说和科学之间的区别在于时机。”

我们在这个图库中收集了一些迄今为止最强大、最令人恐惧的机器人。单击缩略图可查看机器人如何变得更快、更智能、更致命。

令人惊讶的是，我们在军事等级的彻底改组中已经取得了长足进步，但无论是美国还是其他国家，都没有制定任何类似机器人学说的东西，甚至没有制定明确的军事机器政策。英国谢菲尔德大学人工智能和机器人学教授诺埃尔·夏基说，各国一建成这些系统，就想尽快部署它们：“国际上根本没有讨论过。一切都在没有任何人相互交流的情况下进行。”布鲁金斯学会研究员 PW Singer 在其新书《为战争而生：21 世纪的机器人革命与冲突》中指出，机器人和遥控武器正在改变战争和更广阔的世界，就像前几代火药、机械化和原子弹一样。但 Singer 也看到了显著的不同。“我们正在经历摩尔定律，”他告诉我，引用了计算机处理能力每两年翻一番的公理，“但我们还没有超越墨菲定律。”机器人将拥有更强大的智能，推理能力和自我适应能力更强，当然，它们也将获得更强大的破坏力。那么，如果这些军用机器可能出现的问题，就意味着它们有可能发生问题，这意味着什么呢？

我向空军首席科学家、《技术视野》一书的主要作者沃纳·达姆提出了这个问题。他认为，好莱坞制造的关于海军火力侦察兵事件的新闻报道中的恐惧纯属幻想。“最大的危险不是每个人都想象的终结者场景，机器接管一切——事情不会这样失败，”达姆说。他真正担心的是，我们会建立强大的军事系统，‘接管人类独有的大型关键职能’，然后才发现机器根本无法胜任这项任务，为时已晚。“我们转瞬即逝，”他说，“10 年后我们发现技术还不够先进。”

然而，达姆的设想却暗示了另一种“终结者”情景，这种情景更可信，但并非毫无威胁。在采访了数十位军方官员、机器人设计师和技术伦理学家后，我了解到，我们正在开展的不只是一个项目，而是两个重大项目，第一个项目是赋予机器更高的智能和自主性，第二个项目是保持对机器的控制。达姆担心前者的成功，但我们至少应该同样担心后者的失败。如果我们制造智能机器，却没有同样智能的控制系统，那么我们将面临这样的情景：有一天，通过一千个看似合理的善意决定，机器确实接管了曾经属于我们的所有“关键功能”。然后“我们一眨眼”就发现，这个世界已经不再是我们能够理解或控制的了。

唾手可得的果实

如今，士兵和飞行员已经看到，至少在某些情况下，无人机正在成为他们的对手甚至更胜一筹。去年夏天，当我参观位于俄亥俄州代顿附近赖特-帕特森空军基地的空军研究实验室时，那里的科学家向我展示了一段视频，演示了他们正在开发的一种名为“感知与避免”的系统，该系统预计在 2015 年投入使用。使用一套机载传感器，配备该技术的无人机可以探测到另一架飞机是否靠近，并迅速进行机动以避开它。感知与避免可用于战斗情况，它已在计算机模拟中进行了测试，多架飞机从各个角度向无人机发起攻击。然而，它最直接的好处可能是证明无人机可以在美国上空安全飞行。联邦航空管理局尚未允许在战区自由飞行的无人机靠近美国国内的商业航班，甚至在我们不受限制的空域也很少允许它们飞行。但感知和避免算法遵循所有飞机都应遵循的可预测的 FAA 优先通行规则。视频中，系统在安大略湖上空成功测试，其中一处屏幕上闪过一位驾驶迎面而来的飞机的飞行员说的话：“这就是飞行员应该做的事情。”

机器已经比我们这些凡人拥有一些明显的优势。无人机的加速速度可以超过飞行员通常昏迷的速度，而且它们可以在空中停留数天甚至数周。一些军用机器人还可以快速瞄准和发射高能激光，而且（在受控情况下）它们可以比人类更稳定地击中目标。陆军目前使用一种矮胖的、类似 R2-D2 的机器人，称为反火箭、炮兵和迫击炮机器人（简称 C-RAM），它使用雷达探测绿区或巴格拉姆机场上空的来袭炮弹，然后以惊人的 70% 的命中率将其击落。空军科学家还谈到了一种“强化版自动驾驶仪”，它可以通过利用气象卫星的数据快速调整飞机的航线，从而最大限度地提高燃油效率。今年晚些时候，一种当飞行员迷失方向时自动让飞机离开地面的计算机程序将开始在 F-16 上使用。

目前，机器能力的提高伴随着人力的增加。空军告诉辛格，平均每架“捕食者”无人机有 68 人负责工作，其中大部分人负责分析每次飞行产生的大量数据。随着五角大楼部署越来越先进的成像系统，从拥有 9 个传感器的 Gorgon Stare 到计划中的拥有 368 个传感器的 ARGUS，对数据挖掘者的需求将继续增长。由于人力是维持军队的最大财务成本，五角大楼开始探索使用“智能”传感器。利用运动感应算法，这些设备可以自行决定哪些数据是重要的，只传输目标出现时的几分钟，而不是 19 小时的空旷沙漠。

佐治亚理工学院移动机器人实验室主任罗纳德·阿尔金 (Ronald Arkin) 假设，在某些有限的情况下，武装机器人甚至可以比人类更合乎道德地执行军事行动。配备了阿尔金原型“道德控制器”的机器将无法执行不遵守交战规则、不将附带损害降至最低或在合法“杀伤区”内发生的致命行动。此外，机器不会寻求报复，也不会体验到强烈的自我保护欲望，它们永远不会被恐惧或歇斯底里的情绪所左右。9 月，就在五角大楼对五名美国士兵提出谋杀阿富汗平民并肢解其尸体的指控几天后，我采访了阿尔金。“机器人已经更强大、更快、更聪明了，”他说。“为什么它们不能更人道一点？在人类犯下暴行的战争中，这是相对容易实现的。”

棘手的事情

在空军研究实验室的一个安全区域，我观看了自动空中加油系统的计算机模拟，该系统允许无人机悄悄靠近空军加油机，移动到适当的加油位置，并在近 30 分钟内保持该位置，即使在乱流中也是如此。美国空军为有人驾驶飞机进行空中加油已有 60 年左右的历史，最初是在朝鲜战争中为战斗机和一次在空中停留数天的核轰炸机使用这种精细的程序。空中加油通过扩大任务范围并允许飞机在较短的跑道上以更少的燃料和更大的有效载荷起飞，减少了所需的飞机和基地数量。由于该过程要求两架飞机彼此非常接近地飞行，因此一直以来都由每架飞机上的飞行员来协调这些互动。

然而，随着空军向无人驾驶机队过渡，它正试图确保这一过程可以在没有人类控制的情况下完成。与诺斯罗普·格鲁曼公司和其他公司联合开发的自动空中加油系统已经进行了“干”飞行测试，其中 Learjet 代替了无人机。但大多数测试都是使用计算机模拟进行的，尽可能多地模拟各种场景，识别潜在问题，并相应地调整输入。从人到机器人的控制转移是一个渐进的过程。“你越能表现出信任，你就越能让每个人相信无人机是安全的，”实验室控制科学部门的高级工程师之一鲍勃·史密斯说。“但信任不仅仅是可靠性或安全性，它必须随着时间的推移而建立起来。信任是一件棘手的事情。”

实验室里还有一个模拟器，飞行员们可以在里面练习加油系统。我被允许面朝下滑到从一架退役的波音 KC-135 空军加油机上拆下来的吊杆操作员沙发上，尝试操作加油系统。我的头大部分时间都放在一个圆顶的视频屏幕里，这些屏幕看起来像加油机的窗户，下方虚拟地面上是连绵起伏的山丘和白雪皑皑的山峰。一架看起来像黄貂鱼的无人机在我下方 50 英尺的地方滑行进入视野，由于可能是阵风，它有点摇晃。全球定位系统使无人机能够以相同的速度跟随加油机的精确盘旋模式。我的工作是右手操纵控制器，将一根刚性燃油管直接放置在无人机油箱上方，左手操纵控制器，将燃油管向下伸缩，直到与无人机对接。就电子游戏而言，这款游戏的风险很低——没有文明诞生或灭亡，没有杀戮或被杀。但在模拟器中，它看起来确实相当真实。

我把吊杆移到位，放下，但没打中。我收回，重新开始，但打偏了。在我又尝试了几次失败后，看着我趴着的背影的科学家们开始提到下一次演讲，说我们不应该让忙碌的工程师们久等。显然我是这个系统中最薄弱的环节。如果用机器做的话，效果会好得多。

糟糕时刻

对我们的军用机器寄予如此的信任可能很诱人，但并不总是明智的。1988 年，一艘在波斯湾巡逻的海军巡洋舰击落了一架伊朗客机，机上 290 人全部遇难，当时它的自动雷达系统误认为该飞机是一架小得多的战斗机，而船员们更信任计算机，而不是其他相互矛盾的数据。赖特-帕特森的几位科学家提到，他们从这些过度依赖机器的典型案例中吸取了教训，即使在民用航空中，这种过度依赖也导致了致命事故。通常，这种军用机器事故是由机器人公司的副总裁向 PW Singer 描述的“糟糕时刻”造成的，这种错误在技术发展的早期阶段并不少见。2007 年，当第一批名为 SWORDS 的武装坦克式机器人被部署到伊拉克时——然后迅速撤出战场——一个关于其中一个机器人将枪口瞄准友军的故事流传开来。

机器人制造商后来证实确实存在一些故障，但坚称没有人员受到威胁。在伊拉克，C-RAM 确实瞄准了一架美国直升机，误以为是来袭火箭弹；为什么它不开火仍不清楚。2006 年，一名退役士兵告诉辛格，他在伊拉克操作的地面机器人有时会“驶离道路，然后又回来，旋转，诸如此类。”辛格说，同年，在一次针对高管的演示中，SWORDS 莫名其妙地开始旋转；由于机器人的机枪没有装弹，因此避免了电影《机械战警》中的场景。但在 2007 年的一次拥挤的南非军队训练演习中，一门自动防空炮似乎卡住了，然后开始疯狂旋转，发射了 500 发自动装弹炮弹。9 名士兵死亡，14 名士兵重伤。

事实证明，设计具有更大独立性的智能机器人比证明它们始终安全运行更容易。《技术前景》报告强调“自主系统的开发相对容易，而开发 V&V [验证和确认] 措施则负担沉重”，该文件还肯定，“开发建立‘可认证的自主系统信任’的方法是必须克服的最大技术障碍，才能获得通过增加使用自主系统而实现的能力优势。”地面和飞行测试是显示机器正常工作的一种方法，但它们成本高昂，而且可以检查的变量极其有限。软件模拟可以廉价地运行大量场景，但没有办法确切知道在混乱的现实世界中执行任务时，思维死板的机器会如何反应。空军研究实验室控制科学部技术顾问丹尼尔·汤普森告诉我，随着机器自主性从自动驾驶仪发展到自适应飞行控制，再到高级学习系统，证明机器正在做它们应该做的事情变得越来越困难。“我们仍然需要开发能够让我们处理这种指数级增长的工具，”他说。“我们在这里谈论的是一些非常复杂的事情。”

这一技术问题还会产生政治影响。其他国家希望从机器人的智能和能力中获得战术优势，因此可能愿意部署未经测试的自主系统，因为这些系统可能会失控，造成危险。包括中国和伊朗在内的 43 个国家目前已经拥有或正在开发自己的军用机器人。国际无人驾驶系统协会拥有 6,000 名会员。空军科学家表示，他们只需加强自己的验证和确认工作，就能领先于那些偷工减料的国家。但这些努力对于防止不可靠机器人在其他地方的扩散作用不大，而且可能只会鼓励一些国家在试图赢得机器人军备竞赛时，走更多的捷径。加州州立理工大学圣路易斯奥比斯波分校伦理与新兴科学小组负责人帕特里克·林 (Patrick Lin) 说：“很容易做到的是制造一个可以杀死一切的愚蠢自主机器人。”不难想象，一个雄心勃勃、好战的国家制造出一个愚蠢的机器人，它会杀死错误的东西并引发更大的冲突。

耶鲁大学技术与伦理研究小组主席温德尔·瓦拉赫表示，人们通常认为机器具有辨别力、韧性和适应性，但实际上它们并不具备这些能力，而承包商经常热衷于炒作他们的产品。“自动化系统的一个真正危险是，”他说，“它们最终会被用在它们不属于的地方。”

这些系统的前身——远程控制机器，执行许多军方认为对人类来说太“枯燥、肮脏和危险”的操作——被广泛使用，而且并非没有后果。中情局的无人机机组人员无法充分区分战斗人员和非战斗人员，迄今为止已经杀死了多达 1,000 名巴基斯坦平民。真正的自主系统正在承担越来越敏感的任务。“我不知道我们能否忽略终结者的风险，”林说，他举的一个例子不是杀手无人机，而是现在控制着我们许多业务运营的计算机。例如，去年春天，一家贸易公司的“卖出算法”成功引发了股市突然 1,000 点的“闪电崩盘”：“不难想象，我们生活中的大部分，从商业系统到军事系统，都将由计算机运行，这些计算机处理信息的速度比我们快，并将做一些事情，比如让股市崩盘或可能发动战争。从长远来看，终结者情景并不完全荒谬。”

脱离循环

随着战争（和股票交易）的节奏和复杂性不断加快，将很难避免将控制权交给机器。从技术上讲，士兵可以控制 C-RAM 的发射，但他必须在短短 0.5 秒内做出决定并执行行动。当机器将有关已确认目标的信息传递给远程人类操作员并等待确认开火时，关键的几秒钟也会被浪费。随着自主系统以超人的速度执行超人的任务，人类自己越来越无法足够快地做出决定。他们正在成为机器的监督者和“僚机”——不再是处于循环中的决策者，而是军方所说的“处于循环中”的观察者。

空军实验室的官员迅速指出，自动化不应被视为孤注一掷的主张。理想情况下，存在可以不断扩大和缩小的“灵活程度的自主性”，在某些情况下，人们扮演更多的监督角色，而在其他情况下，机器则独立运行。“我们的重点是利用自动化来帮助人类做出决定，而不是替人类做决定，”实验室指挥官艾伦·帕夫利科夫斯基少将告诉我。“如果到了因为人类不了解情况而做出错误决定的地步，那么自动化就必须停止。”

但要维持这种程度的人类参与，也需要人与机器之间非凡的协调和沟通。艾萨克·阿西莫夫用他经常引用的机器人三定律解决了这个问题，尽管这个虚构的装置已经成为讨论机器人控制的默认起点：机器人不得伤害人类，也不得因不作为而使人类受到伤害；机器人必须服从人类给它的任何命令，除非这些命令与第一定律相冲突；机器人必须保护自己，只要这些行动不与前两个定律相冲突。

俄亥俄州立大学教授戴维·伍兹 (David Woods) 专门研究人机协调，他与军事研究人员密切合作，共同研究自动化系统。伍兹表示，简单的基于规则的方法永远不足以预测机器人在战场上将面临的无数物理和道德挑战。相反，我们需要一个系统，当决策变得过于复杂时，控制权可以迅速交还给人类或不同回路上的另一个机器人。“机器人是负责任的人的资源。它们扩大了人类的范围，”他说。“当事情发生故障、干扰层出不穷时，人类需要能够协调并与多个回路互动。”伍兹认为，机器人定律可以归结为一个原则：“控制权的平稳转移”。我们可能会在特定情况下放弃控制权，但我们必须始终保持允许我们重新夺回控制权的系统。我们越是放弃，就越难。

在赖特-帕特森实验室，我观察了一场模拟，其中一个人使用一种名为“警惕精神控制站”的独特界面同时控制四架无人机。在两个大显示器上，四架飞机分别以不同的颜色显示，其重要的飞行数据和与任务、传感器覆盖范围和目标位置有关的战术信息都以相应的颜色显示在屏幕的边缘。实验室的监督控制界面技术顾问马克·德雷珀解释说，如果这些飞机只是在地面上监视固定目标，而传感器视频被转发给需要它的其他人，那么一个操作员就可以控制十几架无人机。真正的考验是人类和机器能否检测到某种干扰或异常，并通过迅速重新分配控制权来对其作出反应。“如果 12 架无人机中的一架突然发现一个高价值目标，而该目标乘坐卡车开走了怎么办？”德雷珀提出。“这是一个非常动态的事件，一个人无法在跟踪他的同时管理 12 架飞机。于是砰砰砰——任务立即转移到其他远程站点的专用单位。然后，当工作完成后，飞机又转移回最初的资源管理器，仍在跟踪天空中燃烧的 11 架飞机。”

空军还在研究如何通过使用药物和各种设备使人类变得更像机器，以便更顺畅地与机器互动。无人机管理员的工作通常需要八小时的枯燥乏味，在某个未知的时间被几分钟的喧闹打断。在飞行测试中，无人机操作员倾向于“隧道化”，专注于一架无人机而排除其他无人机，北约的一项研究表明，当一个人从监控一架无人机变成只监控两架无人机时，表现水平会下降一半。军方对作为镇静剂或增强警觉性和敏锐度的药物的研究是众所周知的。但在研究实验室的人类效能理事会，我看到了一种装有电极指的冠状头的原型，电极指放在头皮上，接收大脑产生的电信号。计划是让监控多架无人机的操作员佩戴其中一种装置的未来版本，并接受持续的心率和眼球运动监测。总之，这些设备可以判断一个人何时感到疲劳、愤怒、兴奋或不知所措。如果无人机操作员的注意力减弱，可以通过视觉提示，或向其额叶发送磁刺激剂。当一个人表现出恐慌或压力的迹象时，人类（或机器）主管可以简单地将责任从该人身上转移开。

让人类参与其中的难度甚至让空军实验室的研究人员都感到惊讶。在“警惕精神”演讲结束时，在场十几位工程师之一的鲍勃·史密斯说：“我们认为最难的部分是让车辆自己做某事。最难的部分是让它在有人参与的情况下很好地完成这件事。”

策略

9 月，40 名科学家、政府官员、人权律师和军方人员齐聚柏林，参加国际委员会第一次会议
机器人武器控制组织。诺埃尔·夏基于 2009 年共同创立了该组织，希望激发人们对军事机器人如何改变战争性质以及颠覆许多现有交战规则的辩论，这些规则涉及合法目标和合法战斗人员、合法打击和暗杀、间谍活动和侵略性军事行动。大卫·伍兹说，我们很可能很快就会听到反无人机战斗的消息，在战斗中，无人机可以相互监视、跟踪、佯攻、干扰和窃取信息——除了直接的空中缠斗之外，什么都做。

随着人类承担的战斗风险越来越小，夏基和其他许多人担心武装冲突的门槛会降低，因为交战似乎（至少从机器人的角度来看）成本更低。美国目前正在巴基斯坦参与一项未定义的军事行动，该行动由一家民间情报机构执行。自 2004 年以来，该国已在巴基斯坦西北部发动了 196 次无人驾驶空袭，奥巴马政府期间此类袭击的频率急剧上升。“如果没有无人机，”帕特里克·林说，“我们可能根本不会在那里。这些机器人让我们能够做我们原本不会做的事情。”

会议上，大多数人签署了一份声明，呼吁对无人系统进行监管，并禁止未来开发和部署武装自主机器人武器。但夏基说，与会者甚至对如何定义基本术语也争论不休，这次经历进一步让他明白，让国家行为者参与讨论是多么困难。开发这种技术的政府这样做是为了实现其军事目标，但很快这些目标就变得适合这项技术，而机器本身也证明是不可或缺的。该委员会成立不久，规模也很大（只有 10 名正式成员），这表明关于这一主题的对话仍然非常罕见。

温德尔·瓦拉赫强调，“人们对自主机器人的发展前景十分困惑。有人认为‘我们距离人类级别的人工智能只有 20 年’，也有人认为我们还要 100 年或永远无法实现。”即使在空军实验室，我参观了该领域的前沿工作，但我对未来几年的前景也并不清楚。那里的控制理论负责人西瓦·班达告诉我，空军非常了解制造载人飞机所需的标准和规格。“但我们对无人机的了解就像婴儿一样。我们还是婴儿。”事实上，目前尚不清楚是否有人在军用机器问题上处于领先地位。在 PW 辛格最近向五角大楼官员介绍了他的“为战争而生”计划后，一位国防部高级战略专家表示，他觉得这次谈话很有趣，并提出了一个问题：“谁在制定和制定所有这些战略？”辛格已经发表过多次这样的演讲，他向这位官员解释道：“其他人都认为是你。”