这种人工智能可以利用声音来揭示看不见的空间的结构

想象一下，你走过一系列房间，越来越靠近声源，无论是扬声器播放的音乐还是说话的人。当你穿过这个迷宫时，你听到的噪音会根据你所在的位置而扭曲和波动。考虑到这样的场景，麻省理工学院和卡内基梅隆大学的一组研究人员一直在研究一个模型，该模型可以真实地描绘听众在穿过某个空间时周围的声音如何变化。他们上周在一篇新的预印本论文中发表了关于这个主题的研究成果。

我们在世界上听到的声音会因各种因素而有所不同，例如声波在何种空间中反弹、它们撞击或穿过何种材料以及它们需要传播多远。这些特征会影响声音的散射和衰减方式。但研究人员也可以逆向工程这一过程。他们可以采集声音样本，甚至用它来推断环境是什么样的（在某些方面，这就像动物使用回声定位来“看”一样）。

“我们主要在模拟空间声学，所以重点是混响，”麻省理工学院研究生兼论文作者杜逸伦 (Yilun Du) 表示。“如果你在音乐厅，可能会有很多混响；如果你在大教堂，可能会有很多回声；而如果你在小房间里，实际上没有任何回声。”

他们的模型称为神经声学场（NAF），这是一个神经网络，可以解释声源和听众的位置，以及声音传播的空间的几何形状。

为了训练 NAF，研究人员向其输入了有关场景的视觉信息和一些音频声谱图（捕捉声音的幅度、频率和持续时间的视觉模式表示），这些音频是从听众在不同有利位置和位置听到的声音收集的。

“我们拥有少量的数据点；我们以此为基础，建立某种模型，可以准确合成房间内任何位置的声音，以及新位置的声音，”杜说。“一旦我们建立好这个模型，你就可以模拟各种虚拟漫游。”

该团队使用了从虚拟模拟房间获得的音频数据。“我们在真实场景中也取得了一些成果，但问题是在现实世界中收集这些数据需要花费大量时间，”杜指出。

利用这些数据，模型可以学会预测听众听到的声音在移动到另一位置时会如何变化。例如，如果音乐来自房间中央的扬声器，如果听众走近扬声器，声音会变得更大，如果听众走进另一个房间，声音会变得更低沉。NAF 还可以利用这些信息预测听众周围世界的结构。

这种模型的一大应用领域是虚拟现实，这样就可以为在虚拟现实空间中移动的听众准确地生成声音。他认为，这种模型的另一大应用领域是人工智能。

“我们有很多视觉模型。但感知不仅限于视觉，声音也很重要。我们也可以想象这是利用声音进行感知的尝试，”他说。

声音并不是研究人员利用人工智能研究的唯一媒介。如今的机器学习技术可以拍摄 2D 图像，并利用它们生成物体的 3D 模型，从而提供不同的视角和新视图。这种技术在虚拟现实环境中非常有用，工程师和艺术家必须在屏幕空间中构建真实感。

此外，像这种专注于声音的模型可以增强当前传感器和设备在弱光或水下条件下的表现。“声音还能让你看到角落。根据照明条件，变化很大。物体看起来非常不同，”杜说。“但声音在大多数情况下都是一样的。这是一种不同的感官方式。”

目前，他们模型进一步发展的主要限制因素是缺乏信息。“有一件事出乎意料地困难，那就是获取数据，因为人们还没有深入研究过这个问题，”他说。“当你试图在虚拟现实中合成新奇的视角时，会有大量数据集，所有这些数据集都是真实的图像。有了更多的数据集，探索更多这样的方法将会非常有趣，尤其是在真实场景中。”

观看（并聆听）以下虚拟空间的演示：