欺骗机器

20 世纪初，德国驯马师兼数学家威廉·冯·奥斯滕 (Wilhelm von Osten) 告诉全世界，他的马可以算数。多年来，冯·奥斯滕游历德国各地，向人们展示这一现象。他要求他的马“聪明的汉斯”计算简单的方程式。汉斯会用蹄子敲击马蹄，得到正确答案。二加二？四次敲击。

但科学家并不认为汉斯像冯·奥斯汀声称的那样聪明。心理学家卡尔·斯图姆夫进行了一项名为“汉斯委员会”的广泛研究。他发现聪明的汉斯并不是在解方程，而是在对视觉线索做出反应。汉斯会敲到正确的数字，这时他的教练和观众通常会爆发出欢呼声。然后他就会停下来。当他看不到这些表情时，他就会不停地敲。

如今，计算机科学可以从汉斯身上学到很多东西。一个加速发展的领域表明，迄今为止我们创造的大多数人工智能已经学会了给出正确答案，但并没有真正理解信息。这意味着它们很容易被欺骗。

机器学习算法已迅速成为人类群体的万能守护者。这种软件将我们连接到互联网，监控我们的电子邮件中是否存在垃圾邮件或恶意内容，并且很快就会驾驶我们的汽车。欺骗它们将改变互联网的构造基础，并可能在未来对我们的安全构成更大的威胁。

从宾夕法尼亚州立大学到谷歌再到美国军方，一小群研究人员正在设计和防御可能对人工智能系统实施的潜在攻击。根据研究提出的理论，攻击者可以改变无人驾驶汽车所看到的内容。或者，它可以激活任何手机上的语音识别，并让其访问带有恶意软件的网站，而这些网站在人类听来只是白噪音。或者让病毒穿过防火墙进入网络。

这种方法并不是接管无人驾驶汽车的控制，而是向它展示一种幻觉——实际上并不存在的图像。

这些攻击使用对抗性样本：图像、声音或文本，这些样本在人类观众看来很正常，但机器却将其视为完全不同的东西。攻击者所做的微小改变可能会迫使深度神经网络对所显示的内容得出错误的结论。

伯克利大学研究对抗性机器学习攻击的研究员亚历克斯·坎切利安 (Alex Kantchelian) 表示：“任何使用机器学习做出安全关键决策的系统都可能容易受到此类攻击。”

但在人工智能发展的早期就了解这一点也为研究人员提供了工具，帮助他们了解如何弥补这些缺陷。一些人已经开始这样做了，并表示他们的算法实际上因此而更加高效。

当今大多数主流人工智能研究都涉及深度神经网络，它建立在更广泛的机器学习领域之上。机器学习技术使用微积分和统计学来制作我们所有人都使用的软件，例如电子邮件和谷歌搜索中的垃圾邮件过滤器。在过去的 20 年里，研究人员开始将这些技术应用于一种名为神经网络的新概念，这是一种旨在模仿人类大脑的软件结构。其总体思路是将计算分散到数千个小方程（“神经元”）上，这些方程获取数据、处理数据，并将其传递到另一层数千个小方程上。

这些人工智能算法的学习方式与机器学习的工作方式相同，也就是人类的学习方式。它们会展示事物的例子，并被赋予标签以与所展示的内容相关联。向计算机（或孩子）展示一张猫的照片，告诉他们猫是什么样的，算法就会知道猫是什么。为了识别不同的猫，或从不同角度看到的猫，计算机需要查看数千到数百万张猫的照片。

研究人员发现，他们可以利用故意欺骗的数据（称为对抗性示例）来攻击这些系统。

“我们向你展示一张明显是校车的照片，然后让你认为它是一只鸵鸟，”谷歌研究员 Ian Goodfellow 说道，他推动了对抗性样本的大部分工作。

研究人员只需将输入深度神经网络的图像改变 4%，就能诱使神经网络对图像进行错误分类，成功率高达 97%。即使他们不知道网络如何处理图像，他们也能以近 85% 的准确率欺骗网络。后一项研究在不了解网络架构的情况下欺骗网络，被称为黑盒攻击。这是首次有记录的针对深度学习系统的功能性黑盒攻击研究，这一点很重要，因为这是现实世界中最有可能出现的情况。

在这篇论文中，来自宾夕法尼亚州立大学、谷歌和美国陆军研究实验室的研究人员实际上对一个对图像进行分类的深度神经网络进行了攻击，该网络由开发人员在线工具 MetaMind 支持。该团队构建并训练了他们所攻击的网络，但他们的攻击算法独立于该架构运行。利用攻击算法，他们能够迫使黑盒算法认为它正在查看其他东西，准确率高达 84.24%。

向机器显示错误信息的行为并不新鲜，但伯克利大学教授道格·泰格 (Doug Tygar) 表示，这种攻击技术已经从较简单的机器学习转移到更复杂的深度神经网络。恶意攻击者多年来一直在垃圾邮件过滤器等设备上使用这种技术。

Tygar 的研究源自 tygar/papers/Machine_Learning_Security/asiaccs06.pdf/”>2006 年的一篇关于机器学习网络对抗性攻击的论文，2011 年他与加州大学伯克利分校和微软研究院的其他研究人员一起对该论文进行了扩展。率先将该技术应用于深度神经网络的谷歌团队在发现攻击可能性两年后，于 2014 年发表了第一篇论文。他们想确保这确实是可能的，而不是异常现象。2015 年，他们发表了另一篇论文，找到了一种保护网络并使其更高效的方法，此后 Ian Goodfellow 还为该领域的其他论文提供咨询，包括黑盒攻击。

安全研究人员将不可靠信息这一更广泛的概念称为拜占庭数据，通过这一研究进程，它已发展成为深度学习。拜占庭数据这一术语源自拜占庭将军问题，这是计算机科学中的一项思想实验，其中一群将军必须通过信使协调他们的攻击，但不确定他们的公司中是否有叛徒。因此，他们无法信任同行提供的信息。

Tygar 说：“这些算法被定义为处理随机噪声，而不是处理拜占庭数据。”

为了了解这些攻击是如何运作的，Goodfellow建议将神经网络想象成一个散点图。

散点图上的每个点代表网络正在处理的图像的一个像素。网络通常会尝试在数据中画一条线，该线是每个点所在位置的最佳拟合集合。这比听起来要复杂一些，因为每个像素对网络来说都有多个值。实际上，这是一个复杂的多维图，计算机必须对其进行分类。

但在我们简单的散点图类比中，穿过数据的线的形状决定了网络认为它看到了什么。为了成功攻击这些系统（通过迫使它们错误分类输入），研究人员只需改变这些点中的一小部分，引导网络得出实际上不存在的结论。这些改变的点超出了网络认为熟悉的范围，因此它会犯错误。在让公共汽车看起来像鸵鸟的例子中，校车照片上点缀着像素，其图案设计为网络熟悉的鸵鸟照片的独特特征 - 不是可见的轮廓，但当算法处理和简化数据时，极端的鸵鸟数据点被视为分类的有效选项。在黑匣子场景中，研究人员测试输入以确定算法如何看待某些物体。

通过向图像分类器提供虚假输入，并观察机器做出的决定，研究团队能够对算法进行逆向工程，以欺骗自动驾驶汽车中可能使用的图像识别系统，将停车标志识别为让行标志。一旦他们弄清楚了漏洞是如何运作的，他们就能够设计出一种方法，让机器看到他们想要的任何东西。

研究人员表示，这种攻击可以绕过摄像头直接注入图像系统，甚至可以对现实世界中的标志进行操纵。

然而，哥伦比亚大学安全研究员 Allison Bishop 表示，这种攻击可能不切实际，这取决于无人驾驶汽车所采用的系统类型。她说，如果攻击者已经能够访问摄像头的反馈，他们就可以提供任何他们想要的输入。

“如果我能绕过摄像头的输入，我就不需要那么努力了。”她说。“你只要给它显示一个停车标志就可以了。”

另一种攻击方法，即不绕过摄像头，而是将扰动绘制在标志牌上，这在 Bishop 看来也是一种挑战。她怀疑低分辨率的摄像头（如当今无人驾驶汽车中使用的摄像头）能否读取标志牌上如此轻微的扭曲。

伯克利大学和乔治城大学的两个研究小组成功开发出一种算法，可以向 Siri 和 Google Now 等数字个人助理发出语音命令，这些命令以人耳无法识别的声音爆发形式发出。对于人类来说，这些命令听起来就像随机的白噪声，但它们可以用来告诉亚马逊的 Alexa 等语音激活助手执行其主人从未打算做的事情。

拜占庭音频研究人员之一尼古拉斯·卡里尼 (Nicholas Carlini) 表示，他们的测试已经能够在开源音频识别器、Siri 和 Google Now 上启动，这三个系统的准确率均超过 90%。

这声音听起来就像科幻小说里的外星人发来的通讯。它是白噪音和人声的混杂，但肯定无法辨认出是命令。

卡里尼表示，通过这种攻击，任何听到噪音的手机（必须专门针对 iOS 或 Android）都可能在不知情的情况下被迫访问播放噪音的网页，从而感染附近的其他手机。在同样的情况下，网页还可能悄无声息地将恶意软件下载到设备上。这些噪音也有可能通过无线电播放，隐藏在白噪音或背景音频中。

Goodfellow 说，这些攻击之所以会发生，是因为机器被训练认为几乎每个输入中都有可读或重要的数据，而且有些东西比其他东西更常见。

让网络误以为它看到的是普通物体是件更容易的事，因为它认为自己看到的应该是更常见的物体。这就是为什么 Goodfellow 和怀俄明大学的一个独立团队能够让网络在没有任何物体的情况下对图像进行分类，方法是让网络识别白噪声、随机生成的黑白图像。

在 Goodfellow 的研究中，他通过网络发出的随机白噪声最常被归类为马。这恰好让我们想起了之前提到的聪明的汉斯，也就是我们之前提到的数学天赋并不高的马。

就像聪明的汉斯一样，古德菲罗说这些神经网络实际上并不是在学习某些想法，而只是在学习如何识别它们何时找到了正确的想法。这种区别虽然很小，但很重要。由于缺乏基础知识，很容易恶意地重现为算法找到“正确”结果的体验，而这实际上是一个错误的答案。要理解什么是，机器还必须理解什么不是。

Goodfellow 发现，当他使用自然图像和经过修改的图像（指定它们是假的）来训练他的图像分类网络时，他不仅可以将攻击的效率降低 90% 以上，而且网络在原始任务上表现得更好。

古德菲洛说：“当你开始强迫它们解释真正不寻常的对抗性例子时，它可能会对背后的概念做出更为有力的解释。”

这两个音频团队也采用了与谷歌研究人员相同的方法，通过重新训练网络来修复语言识别系统以抵御攻击。他们取得了类似的成功，攻击效率降低了 90% 以上。

这一研究领域引起了美国军方的关注，这并不奇怪。事实上，陆军研究实验室实际上赞助了至少两篇最新论文，包括黑匣子攻击。虽然陆军实验室积极资助研究，但这并不意味着该技术正在积极开发用于战争。据一位发言人称，研究通常需要 10 年以上的时间才能进入士兵手中。

美国陆军研究实验室的研究员 Ananthram Swami 参与了最近关于对抗性攻击的论文，参与程度各不相同。在并非所有信息来源都能得到适当审查的时代，陆军的兴趣在于检测和阻止故意欺骗的数据。Swami 指出，大学和开源项目放置的公共传感器提供了大量可访问的数据。

“我们不一定能控制所有这些数据。对手可能很容易愚弄我们，”斯瓦米说。“有些数据可能是良性的，有些则不是。”

他还表示，由于陆军对自主机器人、坦克和其他车辆有着既得利益，因此这项研究是显而易见的。通过现在研究这一点，陆军将抢先开发出不受潜在敌对攻击影响的战场系统。

但任何使用深度神经网络的团体（这是一个快速增长的派系）都应该担心对抗性攻击的可能性。虽然机器学习和人工智能系统仍处于起步阶段，但我们正处于一个危险的时期，安全疏忽可能会产生严重的后果。许多公司将高度不稳定的信息交给人工智能系统，而这些系统还没有经受住时间的考验。我们的神经网络太年轻了，我们无法了解它们的一切。

类似的疏忽导致微软的 Twitter 聊天机器人 Tay 很快变成了种族灭绝的种族主义者。大量恶意数据和可预见的糟糕“跟我重复”功能导致 Tay 严重偏离了其原始编程。该机器人被来自外界的不良训练数据劫持，并成为机器学习实施不当时可能发生的情况的一个典型例子。

坎切利安表示，即使谷歌团队的研究成果颇具前景，他也不认为这些攻击的大门已经完全关闭。

“至少在计算机安全领域，不幸的是攻击者总是领先于我们，”Kantchelian 说道。“因此，说我们通过再训练解决了对抗性机器学习的所有问题有点危险。”