这种人工智能可以利用声音来揭示看不见的空间的结构

这种人工智能可以利用声音来揭示看不见的空间的结构

想象一下,你走过一系列房间,越来越靠近声源,无论是扬声器播放的音乐还是说话的人。当你穿过这个迷宫时,你听到的噪音会根据你所在的位置而扭曲和波动。考虑到这样的场景,麻省理工学院和卡内基梅隆大学的一组研究人员一直在研究一个模型,该模型可以真实地描绘听众在穿过某个空间时周围的声音如何变化。他们上周在一篇新的预印本论文中发表了关于这个主题的研究成果。

我们在世界上听到的声音会因各种因素而有所不同,例如声波在何种空间中反弹、它们撞击或穿过何种材料以及它们需要传播多远。这些特征会影响声音的散射和衰减方式。但研究人员也可以逆向工程这一过程。他们可以采集声音样本,甚至用它来推断环境是什么样的(在某些方面,这就像动物使用回声定位来“看”一样)。

“我们主要在模拟空间声学,所以重点是混响,”麻省理工学院研究生兼论文作者杜逸伦 (Yilun Du) 表示。“如果你在音乐厅,可能会有很多混响;如果你在大教堂,可能会有很多回声;而如果你在小房间里,实际上没有任何回声。”

他们的模型称为神经声学场(NAF),这是一个神经网络,可以解释声源和听众的位置,以及声音传播的空间的几何形状。

为了训练 NAF,研究人员向其输入了有关场景的视觉信息和一些音频声谱图(捕捉声音的幅度、频率和持续时间的视觉模式表示),这些音频是从听众在不同有利位置和位置听到的声音收集的。

“我们拥有少量的数据点;我们以此为基础,建立某种模型,可以准确合成房间内任何位置的声音,以及新位置的声音,”杜说。“一旦我们建立好这个模型,你就可以模拟各种虚拟漫游。”

该团队使用了从虚拟模拟房间获得的音频数据。“我们在真实场景中也取得了一些成果,但问题是在现实世界中收集这些数据需要花费大量时间,”杜指出。

利用这些数据,模型可以学会预测听众听到的声音在移动到另一位置时会如何变化。例如,如果音乐来自房间中央的扬声器,如果听众走近扬声器,声音会变得更大,如果听众走进另一个房间,声音会变得更低沉。NAF 还可以利用这些信息预测听众周围世界的结构。

这种模型的一大应用领域是虚拟现实,这样就可以为在虚拟现实空间中移动的听众准确地生成声音。他认为,这种模型的另一大应用领域是人工智能。

“我们有很多视觉模型。但感知不仅限于视觉,声音也很重要。我们也可以想象这是利用声音进行感知的尝试,”他说。

声音并不是研究人员利用人工智能研究的唯一媒介。如今的机器学习技术可以拍摄 2D 图像,并利用它们生成物体的 3D 模型,从而提供不同的视角和新视图。这种技术在虚拟现实环境中非常有用,工程师和艺术家必须在屏幕空间中构建真实感。

此外,像这种专注于声音的模型可以增强当前传感器和设备在弱光或水下条件下的表现。“声音还能让你看到角落。根据照明条件,变化很大。物体看起来非常不同,”杜说。“但声音在大多数情况下都是一样的。这是一种不同的感官方式。”

目前,他们模型进一步发展的主要限制因素是缺乏信息。“有一件事出乎意料地困难,那就是获取数据,因为人们还没有深入研究过这个问题,”他说。“当你试图在虚拟现实中合成新奇的视角时,会有大量数据集,所有这些数据集都是真实的图像。有了更多的数据集,探索更多这样的方法将会非常有趣,尤其是在真实场景中。”

观看(并聆听)以下虚拟空间的演示:

<<:  Meta 遭遇公司历史上“最严重衰退” 裁员逾 11,000 人

>>:  Apple 清楚地知道你对其应用的使用频率

推荐阅读

独角鲸的长牙蕴藏着许多令人惊奇的秘密

一项新研究发现,独角鲸的长牙是一种引人注目的螺旋形牙齿,可长达十英尺,它蕴含着有关快速变化的北极的重...

真正有效的水母刺伤治疗方法

所以你被水母蛰了。好消息是:没必要让你的朋友尿在你身上。坏消息是:你听说过的所有其他治疗方法可能只会...

卡西欧认为人工智能毛球可以取代你的宠物

卡西欧(Casio)或许以手表和计算器而闻名,现在,它正在扩大其产品线,推出低过敏性机器人宠物。据该...

亚马逊 Kindle Fire 的运行速度在移动设备中非常快

去年,Android 平板电脑大量涌现,但几乎没有什么区别,因此,看到亚马逊截然不同的 Kindle...

预防、发现和管理性传播感染的指南

我们的社会在教育人们有关性传播感染方面做得并不好。性教育课、医生、父母以及几乎所有谈论性健康的人都倾...

这款“智能”步枪现配备 iPad 应用程序、Wi-Fi,精准度极高

CES 通常不是展示最新枪械技术的场所,但本周公众首次(据我们所知)真正一睹了总部位于奥斯汀的 Tr...

用最好的鸡科学来庆祝鸡年

周六是中国农历新年的第一天,全球各地的庆祝活动已经开始。今年是鸡年(或者你也可以叫它鸡年)。还有什么...

需要 #plantshelfie 灵感吗?以下是 PopSci 读者的最佳投稿

上个月,当我们邀请世界各地的读者拍摄他们植物的照片时,他们纷纷在社交媒体上发帖,分享他们“植物孩子”...

今年春天购买这款除菌除臭剂可节省 25 美元

虽然我们可能爱我们的猫咪朋友,但我们可能想改变我们的宠物的一件事。不幸的事实是,由于必须保留猫砂盆而...

这家化妆品公司准备用电子产品覆盖你的身体

约翰·罗杰斯的前臂上有一个大约 25 美分硬币大小的贴片。它让人想起了儿童的临时纹身,看起来就像一个...

黄金勇者 Goldran:勇者的光辉与战斗的魅力

黄金勇士 Goldran - 勇士系列的辉煌篇章1995年至1996年播出的《黄金勇者Goldran...

早期的地球并不是绿色的,但它确实自我循环

地球大约有 45 亿年的历史,误差在几百万年左右。但我们今天在地球表面看到的大部分东西要年轻得多——...

iPhone 控制大炮将冰箱里的啤酒扔出去

我有编程背景,但程序本身的用途有限。我想,天哪,我需要做一个可以真正控制某些东西的项目。我大学时用的...

猫眼恋曲:大家的歌版的魅力与评价

猫眼之恋 - 大家的歌的魅力与评价《猫眼恋曲》是1978年2月在NHK《大家的歌》中播出的短篇动画电...

鬼神传评论:引人入胜的故事和深刻的人物

鬼神传的魅力与评价■ 公共媒体剧院■ 原创媒体小说■ 发布日期2011 年 4 月 29 日 - 0...