这位程序员兼诗人认为我们应该如何应对人工智能的种族偏见

Joy Buolamwini第一次遇到面部识别技术中的种族偏见问题时，她还是佐治亚理工学院的一名本科生，正在尝试教机器人玩躲猫猫。人工智能系统无法识别 Buolamwini 的黑皮肤脸，所以她借用了她的白人室友来完成这个项目。她并没有太过紧张——毕竟，在 2010 年代初期，人工智能是一个快速发展的领域，这类问题肯定很快就会得到解决。

但事实并非如此。2015 年，作为麻省理工学院的研究生，布兰维尼也遇到了类似的问题。面部识别技术再次无法识别她的特征——直到她戴着白色口罩开始编码。人工智能虽然令人印象深刻，但在一个简单的任务上还有很长的路要走：它可能会灾难性地无法识别黑人的面孔和身体。布兰维尼说，要解决这个问题，我们需要重新思考我们如何定义成功的软件、训练我们的算法，以及决定应该为谁设计特定的人工智能程序。

在麻省理工学院学习期间，这位程序员证实，计算机的偏见不仅限于无法检测出肤色较深的面孔。通过她的“性别阴影”项目，该项目评估了人工智能产品的性别分类能力，她发现，根据照片将一个人的性别指定为男性或女性的软件在正确区分女性和肤色较深的人方面要差得多。例如，尽管 IBM 开发的人工智能总体上正确识别了 88% 的图像的性别，但它只有 67% 的深色皮肤女性被归类为女性，而正确识别浅色皮肤男性的性别则接近 100%。

Buolamwini 说：“我们衡量成功的标准本身就存在偏差。”IBM 的 Watson Visual Recognition AI 似乎对面部识别很有用，但当考虑到肤色和性别时，很快就发现这台“超级计算机”在某些人口统计数据上存在问题。2018 年，项目负责人在收到 Gender Shades 研究结果后的一天内就做出了回应，并发布了一份声明，详细说明了 IBM 如何努力改进其产品，包括更新训练数据和识别能力以及评估其新软件是否存在偏见。该公司提高了 Watson 识别深色皮肤女性的准确性，将错误率降至约 4%。

带有偏见的人工智能识别软件影响重大。近年来，美国至少有四名无辜的黑人男子和一名女子被捕，原因是面部识别技术将他们误认为其他黑人，误认为是罪犯。使用类似自动化系统让房客进入建筑物的住房单元可能会让深色皮肤和女性居民被困在户外。这就是为什么布兰维尼将她的伦理工作与艺术相结合，以一种人性化的方式解决技术性问题。布兰维尼也是算法正义联盟的创始人和首席艺术家，该联盟旨在提高公众对人工智能影响的认识，并支持预防和抵消人工智能危害的倡导者。她同时精通代码和文字。“诗歌是一种让更多人参与这些紧迫和必要的对话的方式，”布兰维尼说，她是《揭开人工智能的面纱》一书的作者。

Buolamwini 最著名的作品可能是她的诗歌《人工智能，难道我不是女人吗？》。在一段视频中，她演示了 Watson 和其他人工智能如何将著名的黑人女性（如 Ida B. Wells、Oprah Winfrey 和 Michelle Obama）误认为男性。她问道：“机器能像我一样看待我的女王吗？”“机器能像我们一样看待我们的祖母吗？”

这种偏见早已被公认为人工智能这一新兴领域的一大问题。但即使开发人员知道他们的产品不擅长识别深色皮肤的面孔，他们也未必会解决这个问题。他们意识到解决这个问题需要大量投资，而且没有太多的机构支持，Buolamwini 说。“这往往是一个优先考虑的问题”，尤其是对于专注于大众吸引力的营利性公司来说。

布兰维尼补充道，雇佣更多不同种族和性别的人从事科技工作可以拓宽视野，但仅靠这一点无法解决问题。大部分偏见源自训练计算机所需的数据集，这些数据集可能没有包含足够的信息，例如大量黑皮肤女性的图像。仅靠多元化的程序员无法使用有偏见的数据集构建出无偏见的产品。

事实上，Buolamwini 表示，完全消除人工智能的偏见是不可能的，因为所有人都有偏见，他们的信念会反映在代码中。她希望人工智能开发人员能够意识到这些心态，并努力打造不会传播歧视的系统。

这需要慎重考虑使用哪些计算机程序，并认识到不同人群可能需要特定的程序来提供不同的服务。“我们必须摆脱建立一套系统来统治所有系统的普遍主义方法，”Buolamwini 解释道。她举了一个医疗保健 AI 的例子：主要根据男性指标训练的数据集可能会导致女性患者的疾病迹象被忽视。但这并不意味着该模型毫无用处，因为它仍然可以为某一性别的医疗保健带来好处。相反，开发人员还应该考虑建立一个针对女性的模型。

但即使有可能创建无偏见的算法，它们仍然可能造成伤害。例如，如果一个理论上无懈可击的面部识别人工智能在美国推广，它可能会助长国家监控。（运输安全管理局计划在未来几年内在 400 多个机场尝试自愿面部识别检查来代替人工检查。新流程可能会在更遥远的未来成为强制性的。）“准确的系统可能会被滥用，”Buolamwini 说。“有时解决方案是不开发工具。”

了解更多关于人工智能时代的生活：

• 为什么人工智能可能会成为 2024 年总统大选的一个大问题
• 人工智能聊天机器人背后的逻辑非常简单
• 这个人工智能程序可以教你如何更好地下棋
• 第一个人工智能引发了一场长达 70 年的争​​论
• 我们能否相信人工智能的健康建议？

或者查看我们所有的 PopSci+ 故事。