研究人员成功诱使人工智能看到错误的东西

人工智能让我们将任务转移给机器——它们开始标记我们的照片、驾驶我们的汽车和操控我们的无人机。这些人工智能系统在执行这些任务时偶尔会做出错误的决定，正如最近特斯拉自动驾驶仪撞车或听错语音命令所推测的那样，但新的研究表明，拥有人工智能经验的黑客可能会迫使这些算法做出错误且可能有害的决定。

研究人员在验证这些真实攻击的第一步中，迫使人工智能算法对智能手机拍摄的照片进行高达 97% 的错误识别。实验中，打印在纸上并用智能手机拍摄的图像的变化是人眼无法察觉的，但在实验室外，这种差异可能意味着自动驾驶汽车看到停车标志或什么都看不到。

OpenAI 研究员、论文合著者 Ian Goodfellow 表示：“你可以想象有人签了一张看起来像是 100 美元的支票，但 ATM 却将其读成 1000 美元。”他还表示，这些攻击可以通过欺骗机器学习算法，使其认为图像更具吸引力来提高搜索引擎优化，或者由金融机构欺骗竞争对手的 AI 股票交易员做出错误的决策。

古德菲洛并不知道这种攻击是否真的在现实中发生过，但他表示人工智能研究人员绝对应该开始考虑这种攻击。

这种欺骗人工智能的研究已经存在多年了，但之前的研究无法证明这种攻击可以用普通相机拍摄的真实物品照片进行。这篇由埃隆·马斯克支持的 OpenAI 和谷歌撰写的论文证实，即使光线、视角、相机光学和数字处理发生变化，攻击仍然可能成功。

为了测试这一漏洞，该团队将经过轻微修改的图像打印在纸上，这些图像如果直接输入算法，已知会欺骗人工智能。然后，他们使用 Nexus 5X 智能手机拍摄了纸张的照片。

研究人员剪裁了打印出来的图像，然后通过标准图像识别算法对其进行了处理。该算法不仅无法识别出图片中的内容，而且 97% 的情况下，它甚至无法在前 5 个猜测范围内得到正确的结果。然而，结果确实会根据图像的改变而下降——通常，改变越剧烈、越明显，人类的成功率就越高。

他们的目的只是欺骗人工智能，让它看不到它通常看到的东西——尽管在之前的研究中，这些改变的图像可以被视为特定的其他物体。研究人员没有考虑所用相机的类型，但预计调整相机的光学系统会改善他们的结果。

其他研究也使用了相同的技术（但使用音频）来诱骗 Android 手机访问网站并通过恶意语音命令更改设置。

该团队来自乔治城大学和加州大学伯克利分校，他们能够修改录制的语音命令，例如“OK Google”，并将其扭曲到人类几乎无法理解的程度。

研究人员在乔治城大学和伯克利大学的论文中写道：“隐藏的语音命令还可以通过活动中的扬声器播放，或嵌入到流行的 YouTube 视频中，从而扩大单次攻击的影响范围。”该论文将于 8 月份在 USENIX 安全研讨会上发表。

此类公开攻击可能会触发智能手机或计算机（新配备虚拟个人助理）加载恶意网站或将用户的位置发布到 Twitter 上。

这些攻击对于人工智能的某些用途来说可能是无害的（导致照片被错误标记），但在机器人、航空电子设备、自动驾驶汽车甚至网络安全方面，影响是真实的。