语言正在训练人工智能来复制人类的偏见

语言就是重复。你读到的每一个词都是人类创造的，然后被其他人使用，创造并强化语境，也就是语言的本质。当人类训练机器理解语言时，他们也在教机器复制人类的偏见。

普林斯顿大学信息技术政策中心的艾琳·卡利斯坎 (Aylin Caliskan) 表示：“我们能够展示和证明的主要科学发现是，语言反映了偏见。如果人工智能接受人类语言的训练，那么它必然会吸收这些偏见，因为它代表了世界的文化事实和统计数据。”

Caliskan 的研究成果与合著者 Joanna Bryson 和 Arvind Narayanan 于上周在《科学》杂志上发表。本质上，他们发现如果有人训练机器理解人类语言，那么它也会习得那些固有的偏见。

对于人类来说，测试偏见的最佳方法之一是隐性联想测试，该测试要求人们将“昆虫”等单词与“愉快”或“不愉快”等单词联系起来，然后测量延迟时间，即建立这种联系所需的时间。人们很快就会将昆虫标记为不愉快的，而将它们标记为愉快的则要慢一些，因此这是衡量联想的一个很好的指标。

在计算机中测试犹豫并不奏效，因此研究人员找到了另一种方法来查看计算机更愿意将哪些词与其他词联系起来。就像学生仅根据出现在单词附近的单词来猜测不熟悉单词的含义一样，研究人员训练人工智能将在线上出现的彼此接近的单词联系起来，而不将不接近的单词联系起来。

想象一下，每个单词都是三维空间中的一个向量。在同一个句子中常用的单词离它更近，而在句子中很少使用的单词则是离它更远的向量。两个单词越接近，机器就越有可能将它们联系起来。如果人们说“程序员”离“他”和“计算机”很近，但说“护士”离“她”和“服装”很近，这就说明了语言中存在隐性偏见。

向计算机提供这种语言数据来教它们并不是一个新概念。斯坦福的“词表示全局向量”等工具（在本文发表之前就已存在）根据相关词的使用情况绘制相关词之间的向量。GloVe 的词集包括从 20 亿条推文中提取的 270 亿个单词、2014 年从维基百科中提取的 60 亿个单词以及从互联网上随机搜索中提取的 8400 亿个单词。

“你可以说‘‘leash’在‘cat’附近出现了多少次？’和‘‘leash’在‘dog’附近出现了多少次？’和‘‘leash’在‘justice’附近出现了多少次？’，这将成为该词特征的一部分，”Bryson 说。“然后你可以将这些向量与余弦进行比较。cat 和 dog 有多接近？cat 和 justice 有多接近？”

正如内隐联想测试可以显示人类潜意识中认为哪些概念是好的，哪些是坏的一样，计算不同词组之间的平均距离可以向研究人员展示计算机在理解语言时开始表现出的偏见。经过语言理解训练的机器竟然能够察觉人类对花朵（它们令人愉悦）和昆虫（它们令人不快）的偏见，这真是令人惊叹，布赖森说，如果这仅仅是一项重要研究，那么这项研究的意义就不止于此。但它的研究远不止于此。

“还有第二个测试，即测量我们的发现与公开的统计数据之间的数量，”卡利斯坎说。“我查阅了 2015 年的劳工统计局，他们每年都会公布职业名称以及该职业中女性和黑人的比例。通过查看 50 个职业名称的构成并计算它们与男性或女性的关联，我得到了与劳工局数据 90% 的相关性，这非常令人惊讶，因为我没想到能够从如此嘈杂的数据中找到这样的相关性。”

因此，计算机通过将与工作相关的词语与特定性别或族群联系起来，来识别种族主义和性别歧视。本文强调的一个例子是“程序员”，它在英语中不是一个性别词，但通过它的使用，现在具有了男性职业的内涵。

“我们没有想过，当你说程序员时，你是指男性还是女性，”布赖森说，“但事实证明，它出现在该词通常出现的语境中。”

用语言使用数据集训练的机器（如 GloVe）会发现这种关联，因为这是当前语境，但这意味着未来的研究人员应该谨慎使用这些数据，因为同样的人类偏见是根深蒂固的。当卡利斯坎用维基百科词汇集训练该工具时，她发现它包含与她在从互联网上提取的更大词汇集中发现的偏见相同的偏见。

“为了意识到偏见，为了消除偏见，我们需要量化它，”卡利斯坎说，“偏见是如何进入语言的，人们是否从接触语言的方式开始产生偏见联想？了解这一点也有助于我们找到答案，也许可以减少未来的偏见。”

一个答案可能是研究其他语言。该研究重点关注互联网上的英语词汇，因此它发现的词汇使用偏见一般是能够使用互联网的英语人士的偏见。

“我们正在研究不同类型的语言，并根据语言的语法，试图了解它是否会影响性别刻板印象或性别歧视，仅仅是因为语言的语法，”卡利斯坎说。“有些语言没有性别，有些语言的性别稍多一些。在英语中，代词有性别，但在德语等语言中，名词有性别，而且性别差异更大。斯拉夫语中有性别形容词，甚至动词，我们想知道，这会如何影响社会中的性别偏见？”

了解偏见是如何进入语言的也是理解人们除了明确的定义之外还为单词添加哪些其他隐含含义的一种方式。

“在某种程度上，这有助于我思考意识，”这项研究的作者之一乔安娜·布赖森说。“意识的用处是什么？你想要拥有对世界的记忆，你想知道什么样的事情通常会发生。这就是你的语义记忆。”

语言的可变性，以及通过使用而形成语义上下文的方式，意味着这不一定是我们理解这个世界的唯一方式。

“你希望能够创造一个新的现实，”布赖森继续说道。“人类已经决定，我们现在已经把事情安排得足够好了，我们可以让女性工作和发展事业，这是完全可行的。现在我们可以协商一项新的协议，比如，“我们不会说‘程序员他’，我们会说‘程序员他们’，即使我们说的是单数，因为我们不想让人们觉得他们不能成为程序员。”

并且，除非人们在使用人类语言对机器进行编程时考虑到这些现有的偏见，否则他们创造的将不是没有偏见的机器，而是复制人类偏见的机器。

“许多人认为机器是中立的，”卡利斯坎说。“机器并不是中立的。如果你有一个顺序算法，可以按顺序做出决策，比如机器学习，你知道它是在一组人类数据上训练的，因此它必须呈现和反映这些数据，因为历史数据包含偏见，如果它是一个好的训练算法，训练模型也必须包括这些偏见。如果它足够准确，它将能够理解所有这些关联。机器学习系统会学习它所看到的东西。”