经过人工智能训练的人工智能会产生大量乱码垃圾

经过人工智能训练的人工智能会产生大量乱码垃圾

众所周知,OpenAI 和 Google 提供的大型语言模型需要大量的训练数据才能发挥作用。这些模型的最新版本已经覆盖了现有互联网的大部分内容,这导致一些人担心可能没有足够的新数据来训练未来的迭代。一些业内知名人士,如 Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 提出了解决这一数据困境的方案:只需在旧的 AI 输出上训练新的 AI 系统即可。

但新的研究表明,蚕食过去的模型输出将很快导致人工智能产生一连串胡言乱语,并最终导致所谓的“模型崩溃”。在一个例子中,研究人员向人工智能输入了一段关于教堂建筑的无害段落,但这段文字在几代人之后迅速退化。最后,最“先进”的模型只是不断重复短语“黑尾长耳兔”。

本周《自然》杂志发表的一项研究对人工智能训练人工智能的场景进行了测试。研究人员制作了自己的语言模型,最初将原始的、人类生成的文本作为输入。然后,他们又制作了九代模型,每代模型都使用前一代模型生成的文本输出进行训练。最后一代的最终结果是毫无意义的、听起来超现实主义的胡言乱语,与原文毫无关系。随着时间的推移和一代又一代的迭代,研究人员表示,他们的模型“被自己对现实的投射所毒害”。

人工智能模型在自我训练越多就越容易忘记含义

研究人员将这种人工智能似乎自我崩溃的奇怪案例称为“模型崩溃”,这是一种退化过程,可以以早期和晚期的形式出现。在早期,当距离原始训练数据几代的人工智能模型似乎忘记了原始文本中的异常值或罕见内容时,崩溃就开始发生。这会导致最有可能的输出变得越来越普遍。这在现实世界中会成为一个问题,因为它可能导致少数派观点或表达的减少。表现出早期崩溃迹象的法学硕士可能会呈现一种缺乏多样性、千篇一律的现实版本。

在崩溃的后期,事情变得更加奇怪。在最后几代中,用模型训练的模型与原始训练数据相差甚远,以至于它们开始忘记初始训练的关键方面并完全失去情节。正是在这个阶段,模型开始产生完全毫无意义的胡言乱语。当这种情况发生时,研究人员表示,模型对自己先前输出的“不加区分”的自我蚕食“会导致最终模型出现不可逆转的缺陷”。

研究人员声称,对于使用自身数据训练的大型模型来说,这种连锁效应和最终的模型崩溃是不可避免的。值得注意的是,这项研究专门关注语言模型,并没有考虑如果多模态模型(如图像和视频生成器)使用自身数据进行训练会发生什么。这项研究还关注使用自身数据进行训练的模型会发生什么。目前还不清楚如果一个模型(比如 Meta 的模型)使用 OpenAI 生成的输出进行训练会发生什么。

保存原始人类文本可以避免崩溃

现实世界模型崩溃的前景并非不可想象。目前,无数网站都在运营,其中的文章和博客文章完全由法学硕士生成。在尽快构建新模型的竞赛中,许多由人工智能生成的垃圾最终可能会渗入训练集,这并非不可想象。

解决无意中将 AI 生成的内容纳入训练集的问题的一个可能方法是鼓励跨平台制定水印标准,明确标记内容的真实性以及内容是否由机器生成。Google、Adobe 和大型科技公司正试图通过一种特殊的“内容凭证”徽章来实现这一点,他们正试图将其作为内容来源和真实性联盟 (C2PA) 的一部分进行标准化。

但这只适用于图像。使用现有的检测软件,人工智能生成的文本也更难加水印,甚至更难准确识别。更现实的方法可能要求人工智能开发人员严格审查材料,以查找人工智能操纵的迹象,并可能向信誉良好的人力来源付费,以获得使用其高质量数据进行训练的机会。如果没有这些人类训练数据的保​​障,互联网就有被人工智能浪潮淹没的风险。没有人希望这样。

<<:  巴黎奥运会的紫色跑道由碎贻贝和蛤壳制成

>>:  奥运泳装的演变:从羊毛“服装”到弹力比赛服

推荐阅读

未来我们将如何种植粮食

去年冬天,当密歇根湖畔他那 3 万平方英尺的仓库外堆积着接近创纪录的大雪时,罗伯特·科朗吉洛 (Ro...

《春》的魅力与口碑:感人的故事和深刻的人物

《春》的魅力与评价:剧场版动画的新可能性2013年6月8日上映的动画电影《春》以其独特的故事情节和优...

本周我们了解到的最奇怪的事情:满是粪便的游轮、致命的墙纸以及女性击败男性的运动

本周你学到的最奇怪的事情是什么?好吧,不管是什么,我们保证如果你听 PopSci 的最新播客,你会得...

海底数字地图可帮助科学家预测气候变化的影响

随着新视野号飞掠冥王星传回的数据越来越多,我们对数十亿英里之外的矮行星表面的了解也在不断增加,而我们...

拖着死鱼四处走动揭示了粘液的超能力

通过拖拽一堆死鱼,科学家可能发现了生物中最重要的物质之一——粘液的隐藏力量。他们的发现甚至可能有助于...

训练猫咪如厕并不像听起来那么好

您是否曾经希望能够窥视猫、狗、石龙子或斗鱼的大脑?这将使您对世界有更好的认识——或者至少帮助您成为更...

狗能嗅出两种新松露

经过特殊训练的狗和它们出色的嗅觉帮助一组研究人员和公民科学家发现了两种新的松露物种。“松露狗”嗅出了...

Internet Explorer 将在今年情人节与世界告别

很少有人会比 Internet Explorer 过得更糟。微软将于明天正式与这个标志性的网络遗物断...

《如何养育一个无聊的女友》评论:一个关于青春和创造力的现实故事

《如何养育一个无聊的女友》——青春与创意的交汇故事《无趣女友的养成方法》是改编自丸户文秋轻小说的电视...

花费 75 美元打造专业级零件清洗机

世界上有很多油腻的零件。廉价的零件清洗机几乎不能过滤清洗化学品,只能循环使用污泥溶液。优质的零件清洗...

附动画 DVD 的“Asobi Asobase”第 7 卷限定版的评论和印象

《Asobi Asobase》第 7 卷限定版(附动画 DVD)的详细评论和推荐《Asobi Aso...

彻底解析火影忍者电影的吸引力和刺激性! 《微风:鸣人、魔神和三个愿望!》评论

《火影忍者:微风拂面:鸣人与魔神与三个愿望!》的诉求与评价概述“火影忍者:微风:鸣人、神灯神灯和三个...

HI HAI HO - 彻底解析《大家的歌》的魅力

HI HAI HO - 大家的歌曲杰作《HI HAI HO》是NHK《大家的歌》播出的经典动画之一。...

经过两次失败的尝试,波音公司的星际客机将于本周再次尝试抵达国际空间站

更新(2022 年 5 月 26 日):昨天晚上,波音公司的 CST-100 Starliner 航...

白喉麻雀正在放弃经典歌曲,转而唱新歌

1999 年,鸟类学家肯·奥特 (Ken Otter) 搬到了不列颠哥伦比亚省北部的乔治王子城。他很...