Meta 希望通过研究人类大脑来改进其人工智能

如果人工智能旨在模仿大脑，用人工神经元网络代替真实细胞，那么如果将深度学习算法中的活动与人脑中的活动进行比较，会发生什么？上周，Meta AI 的研究人员宣布，他们将与神经成像中心 Neurospin (CEA) 和 INRIA 合作，尝试实现这一目标。

通过此次合作，他们计划分析人类大脑活动和经过语言或语音任务训练的深度学习算法，以响应相同的书面或口头文本。理论上，它可以解码人类大脑和人工大脑如何从语言中寻找意义。

通过将人类在阅读、说话或聆听时的大脑扫描结果与需要解读同一组单词和句子的深度学习算法进行比较，研究人员希望找到大脑生物学和人工网络之间的相似之处以及关键的结构和行为差异。这项研究有助于解释为什么人类处理语言的效率远高于机器。

Meta AI 的研究科学家 Jean-Rémi King 表示：“我们所做的是尝试将大脑活动与机器学习算法进行比较，一方面了解大脑如何运作，另一方面尝试改进机器学习。在过去十年中，人工智能在从物体识别到自动翻译等各种任务上都取得了巨大进步。但当涉及到可能定义不明确或需要整合大量知识的任务时，似乎当今的人工智能系统仍然面临相当大的挑战，至少与人类相比是如此。”

[相关：语言正在训练人工智能来复制人类的偏见]

为此，他们使用了全脑成像技术，如 fMRI 和脑磁图（一种用于识别大脑对单个单词和句子的反应（精确到毫秒）的技术）。这使他们能够跟踪大脑对单词的反应随时间的变化。通过详细观察大脑，研究人员可以知道当他们听到“狗”或“桌子”等单词时，大脑的哪些区域处于活跃状态（例如，可能是角回可以帮助人类理解隐喻，或者是韦尼克区负责处理声音含义）。然后，他们可以检查算法，看看它是否与他们正在分析的大脑部分类似。例如，AI 从感兴趣的单词中提取了哪些属性？它是否将该词与其发音或以前的用法联系起来？

[相关：谷歌的这款新 AI 工具可能会改变我们在线搜索的方式]

在之前的研究中，他们已经能够观察到大脑中与视觉表征、词嵌入和语言转换器算法类似的区域。例如，King 指出，经过训练进行字符识别或将像素转录为字母的算法会产生与大脑视觉部分相关的激活。

在二月份发表在《通讯生物学》杂志上的一项研究中，Meta AI 的研究人员发现，经过训练可以根据句子上下文预测被屏蔽的单词的深度学习算法，与没有该特征的其他算法相比，其行为最像人类大脑。

“对我们来说，这是一个强烈的信号——它表明，试图根据过去的情况预测未来可能与人类大脑正在做的事情类似，”金说。

除了根据上下文预测缺失单词之外，这些模型还能够很好地完成一系列任务。“因此，这就是我们应该尝试遵循的开发深度学习算法的道路，”King 说。但仍存在一些问题。具体来说，我们在多大程度上需要大脑中的先天结构，而不是成长过程中的文化影响才能有效地学习语言？你真正需要多少数据和参数才能使语言模型发挥作用？

“孩子们在几年内就能学会说话，与人工智能系统通常训练的数据相比，他们接触的句子数量非常少，”金说。“这表明我们的大脑内部有架构，让我们能够更有效地从语言数据中提取世界的结构——人们试图传达的含义。”

[相关： Facebook 作为 Meta 的首批举措之一：教机器人触摸和感受]

另一方面，人工智能系统非常擅长特定任务，而不是一般任务。然而，当任务变得过于复杂时，即使它仍然很具体，或者“需要引入不同层次的表征来了解世界如何运作以及是什么促使人们以某种​​方式思考”，它们往往会失败，King 说。例如，他指出一些自然语言处理模型仍然被语法难倒。“它们捕捉到许多句法特征，但有时无法在中间有一些嵌套的句法结构时将主语和动词变位。人类做这些事情没有问题。”

“信息的密度以及它所能承载的深度是语言的一个显著特征，”金补充道。这是当今人工智能目前所缺乏的，这可以解释为什么它们并不总是能理解我们想要传达的意思。除了理解某些单词或短语的情感或情境背景之外，还能够对问题有一般了解，这可能是开发更好的自然对话人工智能系统的关键，这种系统有朝一日可能会为未来的虚拟助手提供动力。

至于自然语言处理模型本身（即经过训练以尝试理解语言的软件），Meta AI 的一个独立团队正在构建一套开源的基于 Transformer 的语言模型，该模型拥有数百万甚至数十亿个参数。较小的模型运行所需的能量较少，但不太擅长处理复杂文本，而且往往不太准确。最大的模型有 1750 亿个参数，大小与其他行业语言模型（如 GPT-3）相似。该团队还发布了相应的日志，详细说明了他们如何构建和训练这些模型。

基于转换器的模型“既使用经过训练的机制来表示信息序列，又使用注意力机制来关注数据中的哪个部分。它以自我监督学习的方式进行训练。因此，你隐藏了一段数据，然后对其进行预测，然后揭示它是什么，看看你是否正确。如果它是错误的，你就通过网络反向传播”来修复错误，Meta AI 研究实验室主任乔尔·皮诺 (Joelle Pineau) 解释说。“它不采用额外的背景信息，也不使用知识图谱。它根据训练的数据集来查看语言中单词的分布。”

拥有良好的语言模型是聊天机器人、对话代理、机器翻译和文本分类的重要组成部分，例如，可用于对客户服务问题进行分类。“如果你使用的语言模型更加丰富，所有这些应用程序都会变得更好，”Pineau 说。

与谷歌一样，Meta AI 也将其语言模型开源，以便从其他研究人员那里获得反馈，包括那些研究这些大型人工智能系统的行为和伦理影响的研究人员。Pineau 希望这能让他们让通常像“黑匣子”一样工作的系统变得更加透明。

在 Meta AI，大脑活动研究和语言模型的创建都是正在研究的众多与人工智能相关的功能中的两个。其他值得注意的项目专注于与感知动作相关的领域，包括计算机视觉、机器人技术和视频。此外，Meta 正在投资一台用于人工智能研究的超级计算机。尽管 Pineau 表示，目前，这些研究课题中的许多仍然彼此独立，但很有可能它们最终都会在元宇宙中重叠和融合。