谷歌考虑制作一个“大红色按钮”以在紧急情况下阻止危险的人工智能

据我们所知，人工智能是自动化大量复杂任务的最佳方式，例如在 Facebook 上标记数百万张独特的照片或学习如何行走的机器人。计算机科学家和机器人专家正在以惊人的速度改进这些算法，这意味着现在是时候考虑阻止人工智能犯错的能力了。

Google Deepmind 与人类未来研究所联合发布了一项研究，该研究确定了如果人工智能算法或机器人失控，我们将如何阻止它们。他们的结论是什么？一个大红色按钮。

该研究指出，2013 年进行的一项早期研究发现，一个游戏算法意识到，只要暂停玩俄罗斯方块，它就永远不会输。机器的这些狡猾、无意的利用正是人类未来研究所所宣扬的。该研究所创始人尼克·博斯特罗姆 (Nick Bostrom) 撰写了《超级智能》一书，警告称，当人工智能教会自己如何不受束缚地学习时，它将能够快速学习，人类将无可救药地被超越。这种事件被称为奇点，这个术语最早由数学家斯坦尼斯拉夫·乌拉姆 (Stanislaw Ulam) 于 1958 年使用。

安全地中断机器并不一定意味着只需拔掉电源插头——在任何可预见的场景中，如果人工智能足够危险，可能会造成损害，那么它将是自主的或托管在服务器机架上。相反，DeepMind 和 FoH 的研究得出结论，机器需要被欺骗。

为了做到这一点，构建算法的科学家必须安装“中断策略”，或者说触发器，允许人类“强制暂时改变代理本身的行为”。换句话说，这是一个让机器认为它应该停止的信号。（有点像《美国队长》电影中控制巴基·巴恩斯的密码词。）停止的决定不是听从外部命令，而是由机器内部做出的——尽管它是被欺骗的。这有点令人困惑，但却是一种绕过不再听从人类命令的机器人的方法。

研究人员指出，这必须是只有拥有人工智能的人才能发送的专有信号，而不是任何人都可以随时发送的信号。他们提到了遥控器，这可能是他们之前提到的臭名昭著的“大红按钮”。

当然，这只在非常特殊的情况下才有效。如果存在奇点级人工智能，它可能会阅读这项研究并取消中断政策。很多此类研究都是推测性的，因为通用人工智能的具体架构尚不存在，但谨慎行事总是一件好事。