Facebook 的人工智能实验室内部

Facebook 的人工智能实验室内部

是时候停止将 Facebook 视为一家社交媒体公司了。通过利用无人机提供互联网服务、收购 Oculus 进行虚拟现实以及持续追求人工智能,Facebook 已迅速成为世界上最先进的技术研究中心之一。

并非只有 Facebook 一家公司有类似的计划,谷歌甚至 IBM 等公司也有类似的计划,总的来说,整个领域的发展已经加速到人工智能必将改变人类与计算机交互方式的程度。事实上,他们已经这样做了——但只是在幕后悄悄地进行。Facebook 对这项技术非常感兴趣,每月为 15 亿用户提供服务。该公司采用多管齐下的办法来解决模拟通用智能的问题——即让计算机的思维方式不再像线性逻辑机器,而是像我们这些自由形态的人类。Facebook 人工智能研究 (FAIR) 团队致力于解决通用人工智能问题,而语言技术和 Facebook M 等规模较小的团队则向用户部署实用功能。

Facebook 人工智能研究的诞生

这一切始于 2013 年。Facebook 创始人兼首席执行官马克·扎克伯格 (Mark Zuckerberg)、首席技术官迈克·斯科洛普夫 (Mike Schroepfer) 和其他公司领导层正在盘点公司成立近十年以来所取得的成就,并寻找在未来 10 年或 20 年内让公司蓬勃发展的因素。

Facebook 已经在其广受欢迎的社交网络上使用机器学习来决定用户在其新闻推送中看到的内容,但与当时尖端的神经网络相比,这很简单。

一些 Facebook 工程师也一直在尝试卷积神经网络 (CNN),这是一种强大的机器学习方法,目前广泛用于识别图像。扎克伯格对人工智能的潜力印象深刻,即使它还处于早期阶段,因此他聘请了谷歌大脑的工程师 Marc'Aurelio Ranzato。然后,他找到了源​​头:CNN 的发明者 Yann LeCun。

现任 FAIR 主任的 Yann LeCun 有着丰富的人工智能研究经验。1988 年,他以研究员身份在贝尔实验室(由电话之父亚历山大·格雷厄姆·贝尔创立,以在电信和技术领域的众多实验而闻名)工作,后来成为 AT&T 实验室的部门主管,直到 2003 年才开始开发,之后他开始在纽约大学任教。现代卷积神经网络是 LeCun 职业生涯的巅峰之作。有没有想过 ATM 如何读取你的支票?这就是 LeCun,他的早期工作包括一个名为“SN”的神经网络模拟器,于 1996 年部署。

Facebook FAIR 主管 Yann LeCun 主要在公司纽约办公室工作,因此他也可以继续在纽约大学任教。Dave Gershgorn/《大众科学》

“我开始与 Schroepfer 和 Mark 交谈,我想他们喜欢我所说的内容,”LeCun 在接受《大众科学》采访时说。“然后他们试图说服我来管理它……当像 Mark 这样的人来找你并说‘哦,好吧,你几乎拥有全权委托。你可以组建一个世界一流的研究实验室,我希望你能建立世界上最好的人工智能研究实验室。’我会说,‘嗯,有趣的挑战。’”

Yann 对这个世界级研究实验室的内涵有一些想法。比如,如果你想吸引顶尖人才,你必须拥有一个雄心勃勃的研究实验室,并制定雄心勃勃的长期目标。然后你给人们一些自由,让他们自由地开展工作,你必须对你的研究非常开放。“这与 Facebook 的理念相符,即开放的理念,”LeCun 说。

组建团队

随后负责打造 Facebook 未来的团队规模很小,总共只有大约 30 名研究科学家和 15 名工程师。劳动力分布在三个分支机构:Facebook AI Research 的总部位于纽约市的阿斯特广场,LeCun 在那里与大约 20 名工程师和研究人员一起工作。门洛帕克分部也有类似数量的员工,截至 6 月,FAIR 在巴黎开设了一个较小的办事处,约有 5 名员工,与法国计算机科学和自动化研究所 INRIA 合作。Facebook 内部还有其他团队致力于 AI 部署,例如语言技术团队;FAIR 是研究部门。

这些研究人员和工程师来自科技行业的各个角落,许多人都曾与 LeCun 合作过。高水平的人工智能研究并不是一个庞大的领域,LeCun 的许多学生都创办了人工智能初创公司,这些公司后来被 Twitter 等大公司收购。

LeCun 曾告诉《连线》杂志,深度学习“实际上是 Geoff Hinton 和我以及蒙特利尔大学的 Yoshua Bengio 之间的阴谋”。Hinton 在谷歌从事人工智能工作,Bengio 则在蒙特利尔大学和数据挖掘公司 ApStat 之间奔波,而 LeCun 则能够吸引其他顶级人才。

“当我第一次被任命为贝尔实验室的部门主管时,我的老板告诉我,‘你只需要记住两件事:首先,永远不要与团队中的人竞争。其次,只雇用比你聪明的人,’”LeCun 说。

领导语言研究小组的 Leon Bottou 是 LeCun 的长期同事。他们一起开发了神经网络模拟器,最早是在 1987 年开发的 AmigaOS。Bottou 于 2015 年 3 月加入 FAIR,此前他曾在微软研究院工作,研究机器学习和机器推理。

从左至右,Leon Bottou、Yann LeCun 和 Rob Fergus 在 Facebook 纽约办公室工作。Dave Gershgorn/《大众科学》

2014 年 11 月,LeCun 还邀请 Vladimir Vapnik 加入团队担任顾问;Vapnik 和 LeCun 曾在贝尔实验室共事,发表了关于机器学习的开创性研究,包括一种测量机器学习能力的技术。Vapnik 是统计学习理论之父,该理论研究基于既定数据的预测方面。预测对人类来说似乎是一项简单的任务,但实际上它依赖于大量先入为主的观念和对世界的观察。(但稍后会详细介绍。)Vapnik 是该领域的领导者,他继续致力于知识传播,将师生互动的线索应用于机器学习。

打造更美好的社交。Ryan Snook

目标

团队的规模和学术实力使 Facebook 可以雄心勃勃地制定长期目标,而这一目标并不亚于 LeCun 所称的“绝对智能”的系统。

“现在,即使是最好的人工智能系统也很愚蠢,因为它们没有常识,”LeCun 说。他谈到了我拿起一个瓶子离开房间的情况。(我们在 Facebook 纽约的一间会议室里,会议室的名字叫 Gozer the Gozerian——与捉鬼敢死队反派同名——对于一个讨论真正机器智能诞生的房间来说,这是一个不祥的名字。)人类大脑可以很容易地想象一个人拿起一个瓶子离开房间的整个简单场景,但对于机器来说,仅基于这一前提就会丢失大量信息。

Yann 说,当我在脑海中想象这个场景时,“你可能站了起来,尽管我在句子中没有这么说,但你可能走了过去。你打开了门,你穿过了门,也许你关上了门。瓶子不在房间里。我的意思是,你可以从中推断出很多事情,因为你知道现实世界的限制。所以我不必告诉你所有这些事实。”

目前,人工智能界对机器学习如何实现这种推理水平还了解不够。为了实现这一目标,Facebook 正致力于打造能够很好地学习并理解周围世界的机器。

LeCun 表示,最大的障碍是所谓的“无监督学习”。目前,机器主要以一两种方式学习:监督学习,即向系统展示数千张狗的图片,直到它理解狗的属性。这种方法在 Google 的 DeepDream 中得到了解释,研究人员逆转了该过程以揭示其有效性。

另一种是强化学习,即向计算机展示需要识别的信息,并且计算机在做出每个决定时只给出“是”或“否”的答案。这需要更长的时间,但机器被迫进行内部配置,当两种学习形式结合在一起时,可以产生可靠的结果。(还记得 DeepMind 玩 Atari 游戏吗?)无监督学习不需要反馈或输入。这就是人类学习的方式,LeCun 说。我们观察、得出推论,并将它们添加到我们的知识库中。事实证明,这是一个难以攻克的难题。

“我们甚至还没有一个基本的原则来构建它。显然,我们正在努力,”LeCun 笑着说。“我们有很多想法,只是效果不太好。”

迈向真正智能的人工智能的早期进展

但这并不是说没有取得任何进展。目前,LeCun 对“记忆”网络的研究很感兴趣,该网络可以集成到现有的卷积神经网络中,使它们能够保留信息。他将这种新的记忆保留模式比作大脑中的短期记忆和长期记忆,分别由海马体和大脑皮层控制。(LeCun 实际上讨厌将 CNN 与大脑进行比较,而是更喜欢一个有 5 亿个旋钮的黑匣子模型。)

记忆模块允许研究人员向网络讲述一个故事,然后让它回答有关该故事的问题。

在故事中,他们使用了 JRR Tolkein 的《指环王》。当然,不是整本书,而是主要情节的简短摘要。(“比尔博拿走了魔戒。”)当在故事的某些部分被问到魔戒在哪里时,人工智能能够简短而正确地回答。这意味着它“理解”物体和时间之间的关系,首席技术官 Mike Schroepfer 表示,他强调这项技术能够帮助 Facebook 更准确地向您展示您想看到的内容。

“通过构建能够理解世界背景、了解你想要什么的系统,我们可以帮助你,”Schroepfer 在 3 月份的一次开发者演讲中说道。“我们可以构建系统,确保我们所有人都能把时间花在我们关心的事情上。”

FAIR 团队正在围绕一个名为“嵌入世界”的项目开发此环境。为了帮助机器更好地理解现实,FAIR 团队正在教它们用向量来表示一切事物之间的关系:图像、帖子、评论、照片和视频。神经网络正在创建一个复杂的内容网络,将媒体片段分组,并将不同的媒体片段区分开来。有一个有用的视频可以直观地展示这一点:

LeCun 表示,通过这个系统,我们可以开始“用代数代替推理”。它非常强大。Embed the World 项目中开发的人工神经网络可以根据照片中的视觉相似性将两张在同一地点拍摄的照片联系起来,还可以判断文字是否描述了场景。它重现了现实的虚拟记忆,并将其与其他地点和事件的背景进行聚类。它甚至可以根据一个人以前的喜好、兴趣和数字体验“虚拟地代表一个人”。这在某种程度上是实验性的,但对 Facebook 的新闻推送有很大的影响,并以有限的方式用于跟踪主题标签。

人们谈论了很多长期目标,但一路走来的小胜利让 Facebook 逐渐变得更加聪明。2014 年 6 月,他们发表了一篇题为“DeepFace:缩小与人类水平的人脸识别差距”的文章,声称其人脸识别准确率超过 97%。LeCun 表示,他相信 Facebook 的人脸识别是世界上最好的,这是 Facebook 与学术研究机构之间的一个关键区别。现在,DeepFace 是 Facebook 自动照片标记背后的驱动力。

LeCun 说:“如果我们有一个切实可行的想法,那么在一个月内它就能被 15 亿人看到。让我们把目光聚焦在长期目标的地平线上,但在这一路上,我们将要构建很多东西,这些东西将在短期内得到应用。”

右为 Rob Fergus,他站在 Facebook 纽约办公室的 FAIR 研究人员中间。Dave Gershgorn/《大众科学》

纽约大学和麻省理工学院计算机科学与人工智能实验室的资深研究员 Rob Fergus 领导着一个与视觉有关的人工智能研究团队。他的团队的工作已经体现在照片的自动标记上,但 Fergus 表示下一步是视频。由于缺乏元数据,或者没有任何描述性文字,许多视频“迷失”在了噪音中。人工智能会“观看”视频,并能够随意对视频进行分类。

这对于阻止 Facebook 不希望的内容进入其服务器(如色情内容、版权内容或任何违反其服务条款的内容)具有重大意义。它还可以识别新闻事件并整理不同类型的视频类别。Facebook 传统上将这些任务外包给签约公司,因此这可能会在降低成本方面发挥作用。

在目前的测试中,人工智能显示出了良好的前景。当观看曲棍球、篮球或乒乓球等体育比赛的视频时,它可以正确识别这些运动。它可以区分棒球和垒球、漂流和皮划艇,以及篮球和街球。

Facebook 背后的人工智能

Facebook 内部有一个独立的团队,名为“语言技术”,专注于开发翻译、语音识别和自然语言理解。LeCun 的领域 FAIR 是 Facebook 推动人工智能研究的部门,而“语言技术”(隶属于应用机器学习)是实际部署该软件的地方之一。

他们与 FAIR 合作,但在开发和部署上独立进行,他们的工作已经开发出 493 个活跃使用的翻译方向(英语到法语和法语到英语算作两个方向)。

Facebook 的宗旨是让世界更加开放、更加互联,因此语言服务是一条自然而然的出路。语言技术负责人艾伦·帕克 (Alan Packer) 表示,超过一半的用户不会说英语,但 Facebook 的大部分内容都是英语。

有 3.3 亿人使用这些翻译服务,最常通过点击“查看翻译”按钮访问。如果你是第一个点击翻译按钮的人,恭喜你,你操作了人工智能。第一次点击会向服务器发起翻译请求,然后缓存以供其他用户使用。Packer 表示,夏奇拉的帖子几乎是即时翻译的。该团队还推出了内容的本地翻译,其中会显示“查看原文”按钮。

人工智能是必需的,因为“愚蠢”的翻译无法有效地描述人类之间的互动。它会产生不正确的语法,误解习语,并且没有俚语的参考。这是像以前的谷歌翻译这样的直接逐字翻译的缺陷。

帕克说,修辞手法特别困难,但能够理解其潜在语义的人工智能可以捕捉到它。

“‘热狗’这个词,如果你只是逐字逐句地翻译成法语,那是行不通的。‘Chaud chien’对法国人来说毫无意义,”帕克说。“然后如果你有一张我滑雪的照片,我说‘我今天要热狗’,那真的很难学,因为热狗的意思是炫耀。”

这种理解尚未达到规模化,但早期结果显示,这并不是一项难以完成的任务。帕克说,关键不在于理解隐喻或习语,而是意识到何时不去理解它们。

该人工智能具有天生的自适应性,可以快速训练俚语。语言技术团队最近了解到,法国足球迷正在使用一种新形式的俚语说“哇”,在用这些公共数据训练神经网络后,它现在可以可靠地翻译这段文字。他们现在正努力通过每天训练新数据来扩大 Facebook 的词汇量,但现在所有语言每月都会更新一次。

Facebook 社区

我们已经习惯了数字个人助理,比如 Siri、Cortana 和 Google Now。但 Facebook 在其新推出的 AI 个人助理 M 上采用了不同的方法,它提供了在手机之外执行复杂任务的能力。Siri 可以发短信,但 M 可以预订航班和制定旅行计划。在开发过程中,Facebook 的一名员工甚至让 M 与搬家公司安排了一系列上门评估。(不过,你不能用 M 购买烟草、酒精、陪护或枪支。)

Facebook M 的核心其实是今年早些时候收购的一家初创公司 Wit.ai。该公司加入了副总裁 David Marcus 领导的 Messenger 团队,并于本月初推出了 M。

Facebook 内部 Wit.ai 团队负责人 Alex LeBrun 表示,人工智能不仅让 M 能够更好地完成一般性任务,还能应对非常特殊的情况,例如带婴儿旅行或停电日期。这也意味着随着人工智能的发展,M 的能力也在不断增强。他希望,甚至在三年内,M 就能呼叫有线电视公司或 DMV 并等待用户接听。

“像 M 这样的服务的真正附加值是能够满足你的要求,即使它有点具体或奇怪,”LeBrun 说,“即使它很复杂而且不是主流情况,它也会做到。”

通过人工智能 Facebook 进行预订

M 会边运行边学习。目前,它还不够强大,无法独立运行。一个“AI 训练员”团队与程序一起工作,如果 M 无法理解某个请求,训练员就会接手。然后,M 会从人类训练员那里学习,并可以在以后的请求中使用该技术。LeBrun 说,程序中还内置了随机性元素,使其更接近人类的学习。这意味着它有时会尝试寻找新颖、更有效的方法来完成常见任务。

“AI 培训师”是一个新职位,甚至 Facebook 也仍在努力弄清这一职位。但他们确实表示,这不是研究人员和工程师的工作,而是更适合有客户服务经验的人。随着时间的推移,Facebook 将能够评估有多少请求需要人工干预,但最终的希望是,未来根本不需要人类。

然而,这些对于开发过程至关重要,因为它们的作用是双重的:作为质量控制的最后一道防线,并教导人工智能。

有了人类智能作为守门人,M 可以作为 FAIR 开发的沙箱。“一旦他们有东西要测试,它就会在 M 中浮现,因为在我们的培训和监督下,这真的是无风险的,”LeBrun 说。

M 平台完全建立在 Wit.ai 平台之上(主要在 Facebook 之前开发),但 FAIR 也将使用从用户与个人助理 AI 交互中收集的深度学习数据。

Facebook 在社区中

“我们所做的研究都是公开进行的。我们所做的几乎所有研究都已发表,我们编写的很多代码都是开源的,”LeCun 说。这些出版物可以在 Facebook 的研究网站上找到,也可以在 ArXiv(一个计算机科学、数学和物理学研究论文库)上找到。

社区努力。Dave Gershgorn/《大众科学》

这对人工智能社区的很多人来说都是如此。LeCun 是开发 Torch(用于 AI 开发的 C++ 库)的领军人物。他与 Facebook 团队的其他成员以及 Twitter 和谷歌 DeepMind 的研究人员合作,将 Torch 打造为适合所有人的更好工具。(现在该领域的许多专家也曾是 LeCun 的学生。)

LeCun 表示,他们可能发表的其他任何成果,无论是可以集成到医学成像还是自动驾驶汽车中的成果,都可以用于推动该领域的发展。Facebook 所做的工作对 Facebook 用户来说很重要,但其核心是研究团队致力于进一步推动人类​​关于如何更好地用机器模拟智能的集体知识。

这就是为什么 Facebook 是人工智能社区的重要组成部分,以及为什么社区本身如此重要。

“好莱坞电影中出现的场景是,阿拉斯加的某个人发明了一个功能齐全的人工智能系统,而其他人都无法与之相比,这是完全不可能的,”LeCun 说,“这是我们这个时代最大、最复杂的科学挑战之一,任何单个实体,甚至大公司都无法独自解决它。它必须是整个研发界共同努力的结果。”

<<:  利用可食用的电池为可摄入设备供电

>>:  抓捕炸弹制造者

推荐阅读

我们的长童年可能与食物采集技能有关

有些动物出生后不久就能站立、行走甚至奔跑。而人类婴儿则只能哭闹、吐奶和排便,直到出生几个月后才开始做...

Sanrio Pokoapoko 的魅力和声誉:探索治愈的世界

Sanrio Pokoapoko:幼儿教育与娱乐的融合概述《Sanrio Pokoapoko》是三丽...

科学如何预测哪些奥运赛事最精彩

奥运会在体育文化中代表着非常特殊的意义,但从观看的角度来看,它却是一场后勤噩梦。多个项目同时进行,迫...

这款双向充电器可将电动汽车转变为家庭备用电源

要将屋顶太阳能电池板产生的电能传输到楼下耗电设备,需要经过一系列复杂的步骤。这通常包括将电能从直流电...

DuckDuckGo 的 Android 应用程序现在可以保护你的数据免受跟踪者的攻击

DuckDuckGo 的坚定隐私倡导者刚刚向全球大多数智能手机开放了他们最有前途的在线工具之一。今天...

我们还需要拯救蜜蜂吗?

大约 15 年前,汽车保险杠贴纸、车牌架和手提袋上开始出现这样一句口号:拯救蜜蜂。人们普遍认为这些传...

清理 Facebook 新闻推送的 7 种方法

Facebook 每天有近 30 亿用户,因此活动非常频繁——尤其是如果其中几百人恰好是你的朋友的话...

测试产品:Horizo​​n MiniPak 便携式燃料电池充电器

随着人类走向无线时代,我们和我们的小工具必须摆脱的最后一条烦人的束缚就是电源线。便携式电池供电充电器...

康奈尔大学研究人员培育出逼真的生物工程人耳

康奈尔大学的研究人员成功制作出一只外观和功能都与真人耳朵相似的生物工程人耳。他们希望能够为患有罕见先...

如何在 Google Pixel 和 iPhone 上使用应急卫星功能

如果您拥有最新的 iPhone 或 Pixel 手机,那么在危机中您有一个紧急备用通信选项:卫星信息...

从实验室到仿制品:您需要了解的有关“可持续”钻石的知识

当你想到奢华时,你可能会想到一些稀有而美丽的东西——对一些人来说,奢华的缩影就是一颗闪闪发光的钻石。...

“Promins”的魅力与评价:不容错过的动漫世界

Promins - Promins - 综合评价与推荐概述《Promins》是一部以Takara T...

这种重达 500 磅的澳大利亚有袋动物有专门用来行走的脚

三百多万年前,一种体重超过 500 磅的有袋动物在澳大利亚漫游,赢得了该大陆第一位长距离行走冠军。在...

宇宙是什么形状的?

要想了解宇宙在哪里、如何终结,甚至是否终结,我们需要回答的问题数不胜数。但所有证据表明,我们并非只是...

彻底回顾电影《屁股神探》和梦幻巨无霸红薯节!这个系列的第三部作品有何吸引力?

屁股侦探电影:梦幻巨型红薯节——大人小孩都能享受的娱乐节目2022年3月18日上映的《屁股神探剧场版...