国际社会即将讨论杀手机器人

没人希望机器人末日来临。从《机器人大战》（RUR，该剧赋予了我们“机器人”一词）中机械工人的反抗，到《终结者》和《黑客帝国》电影中惨淡、核爆肆虐的地狱景象，人类被自己制造的工具毁灭的想法令人信服，尽管这仍是虚构的。为了让末日牢牢停留在推测的范畴，红十字国际委员会今天为一个人道主义组织发表了一份不同寻常的声明：“杀戮和毁灭的决定是人类的责任。”

红十字会并不鼓励人类做出杀戮和毁灭的决定。相反，它认为，如果要做出这样的决定（人类历史上几乎没有证据表明不会做出这样的决定），那么真正重要的是，拥有这种权力和权力的是真正的人类，而不是致命的自主武器系统。或者，用该运动的行话来说，是“杀手机器人”。红十字会表示：

红十字会的这一声明是《特定常规武器公约》致命自主武器系统专家会议的一部分。本周，该会议在日内瓦举行，目的是制定武器规则，以便战争（如果必须进行）尽可能人道。此前，《特定常规武器公约》已禁止使用火焰喷射器等武器，这些武器既极其残忍，军事用途也有限。“致命自主武器系统”的范畴比“喷射火焰”要广，虽然很少有人明确希望机器人四处奔跑来决定谁应该死，但“致命”、“自主”、“武器”和“系统”的定义不仅会影响我们对这些机器的理解，还会影响这些机器如何使用的法律和规则。

问题不在于致命机器是否存在，而在于人类在决策过程中参与程度如何。

红十字会声明的一半内容是定义和澄清辩论术语。对于红十字国际委员会来说，“‘自主武器系统’是一个总称，涵盖任何在选择和攻击目标等关键功能上具有自主性的武器系统。”对这些武器进行有意义的人类控制需要“对执行的任务、攻击的目标、作战环境、作战的地理空间和时间、人类监督武器系统运行的范围以及人类在必要时停用武器的能力进行严格的操作限制。”或者简单地说，需要对致命自主机器人的地点、时间、人员、程度和使用方式进行大量控制，并且在任何阶段，人类都需要能够停止武器的使用。

为了符合人道主义法，红十字会表示武器必须是可预测的：禁止使用无人机群以超出人类控制的异常方式行动。红十字会不确定，如果在武器系统运行阶段只有“最低限度或没有人类控制”，那么在武器发射时人类控制是否足以防止自主危险。以洛克希德马丁公司为 DARPA 开发的远程反舰导弹为例，最终由美国海军开发。这种导弹的一个显著特征是它可以自主绘制通往目标船只的路径，并通过船只发出的信号识别目标。根据红十字会的指导方针，在武器发射时选定目标是不够的；目标的改变必须得到人类的批准，否则武器就违反了战争的人道主义规范。

红十字会并不是唯一一个试图研究自主武器的组织。上个月，在华盛顿邮报主办的一场名为“保障明天”的军事未来活动上，国防部副部长鲍勃·沃克谈到了自主武器的话题。五角大楼的报道如下：

因此，这并不是致命机器是否存在的问题，而是人类参与决策过程的程度以及哪种自主性至关重要的问题。

通过 Twitter 直接消息， 《大众科学》采访了北卡罗来纳大学和平、战争与防御课程的物理学家兼兼职教授马克·古布鲁德。古布鲁德认为，定义自主性是一个错误的问题。相反，他说：“正确的问题是，我们必须在哪里、在哪里能够划定界限，以阻止这场军备竞赛，避免它进一步将我们推向危险？”

同样，古布鲁德对人类控制有一个更精确的定义：“如果一个（非人类）系统在内部编程和环境输入下做出决策，那就不是人类控制，”他说，“你可能已经对它进行了编程，你可能相信它做出了正确的决定，但当它做出这些决定时，你并没有控制它。人类控制是指人类做出决定。将某物称为自主的全部意义在于它在人类控制之外运行，自行做出决定。”

安全研究教授 Heather M. Roff 在《原子科学家公报》上撰文指出，战场上使用复杂的学习型机器的危险性非常大，因此应该彻底禁止。她说：

去年，华盛顿特区智库新美国安全中心发布了一份报告，试图将有关杀手机器人的大争论分成关于自主程度、人类参与程度和决策类型的多个小争论。

“红十字国际委员会的声明对自主武器系统的对话做出了负责任且具有前瞻性的贡献。它正确地指出，武器系统的自主性如今已成为现实，而保持人类对武力使用的控制至关重要，”该报告的作者之一迈克尔·C·霍洛维茨在接受采访时表示。

他继续说道：“红十字国际委员会认为，公众良知在理解自主武器系统的合法性方面具有重要意义。鉴于全世界公众普遍缺乏对自主武器系统的认识，我们需要谨慎行事，不要妄下结论，判断公众对这一问题的良知‘是什么’。红十字国际委员会声明提出的一个关键问题是，判断任何假设的自主武器系统的可预测性和可靠性的要求是否应该与其他武器系统的要求相同或更高。”

在一部即将出版但尚未发表的著作中，霍洛维茨提出了定义自主武器的不同方式，并主张区分自主类型作为前进的关键方向。

作为一个物种，我们可能面临着一个独特的前景：为了保护自己免受其他人类的伤害，我们是否愿意将杀戮权力托付给机器？如果愿意，在多大程度上愿意？显然，红十字会认为我们需要非常谨慎地考虑下一步行动，而且我采访过的所有关于致命自主权的人都没有反对。当涉及到武装机器时，没有明确的二元选择。