Adobe 的新 AI 可以将 2D 照片变成 3D 场景

今天，在公司年度创意大会 Adob​​e MAX 上，Adobe 将预览一项名为“Beyond the Seen”的新技术，该技术利用人工智能扩展二维图像的边界，甚至将其变成身临其境的三维场景。虽然只是一次演示，但它展示了专为特定目的而设计的人工智能图像生成器如何具有深远的商业和艺术应用。

图像生成器的工作原理是从建筑物内部拍摄风景或照片，然后将其扩展为围绕相机的 360 度全景图。当然，它无法知道相机后面到底是什么，因此它使用机器学习来创建一个可信且无缝的环境 - 无论输入图像是山景还是音乐厅内部。Adobe 的算法还可以估计新环境的 3D 几何形状，这使得视点可以改变，甚至使相机看起来在环境中移动。

虽然图像扩展或外画并不是什么新鲜事，但 Adob​​e 的 AI 生成器是第一个专门围绕它构建的。例如，DALL-E 2 允许用户以小块的形式扩展图像，而 Stable Diffusion 则需要另辟蹊径。

Adobe 的 AI 图像生成器与 DALL-E 2 和 Stable Diffusion 等更通用的图像生成器在几个关键方面略有不同。首先，它是在非常有限的数据集上进行训练的，并且有特定的用途。DALL-E 2 和 Stable Diffusion 接受了数十亿个文本-图像对的训练，涵盖了从鳄梨和艾薇儿到斑马和 Zendaya 的所有概念。Adobe 的生成器专门在约 250,000 个高分辨率 360 度全景图的数据集上进行训练。这意味着它非常擅长从种子图像生成逼真的环境，但它没有文本到图像的功能（换句话说，您不能输入文本提示并得到奇怪的结果）或任何其他通用生成功能。它是一种具有特定工作的工具。但是，它输出的图像要大得多。

Adobe 的生成器目前使用一种称为通用对抗网络 (GAN) 的人工智能技术，而不是扩散模型。GAN 通过使用两个相互对抗的神经网络来工作。生成器负责创建新的输出，而鉴别器必须猜测它呈现的任何图像是来自生成器的输出还是来自训练集的实际图像。随着生成器在创建逼真图像方面越来越好，它越来越善于欺骗鉴别器，从而创建了一个有效的图像生成算法。

与此同时，DALL-E 2 和稳定扩散使用的扩散模型从随机噪声开始，然后对其进行编辑以创建可信的图像。最近的研究表明，它们可以产生比 GAN 更真实的结果。鉴于此，Adobe 研究副总裁兼负责人 Gavin Miller 告诉PopSci ，该算法可以在商业发布之前适应使用扩散模型。

尽管该技术仍处于早期开发阶段，但 Adob​​e 已强调了该技术的几种潜在用途。虽然有关于 Metaverse 和从 2D 快照生成 3D 世界的说法，但常规图像扩展功能可能首先证明其价值。Adobe 在演示视频中演示的一个例子是其算法如何允许将“镜面”（或闪亮）渲染对象插入图像中。AI 生成器用于推断相机后面和物体上方可能存在的东西，以便在闪亮物体上创建逼真的反射。这种东西可以让建筑师和室内设计师更轻松地为他们的项目创建看似准确的渲染。

同样，它可以让摄影师和摄像师以更自然的方式扩展图像的背景。米勒解释说，自 2010 年以来，Photoshop 等 Adob​​e 应用程序中的内容感知工具能够生成自然纹理，而新的生成模型则能够创建纹理和结构。

虽然目前尚不清楚这项技术何时会向公众开放，但米勒表示，今天公布这项技术是 Adob​​e 追求的“更大计划的一部分，旨在开发更具生成性的技术”。一直以来，使用硬件都可以创建 360 度全景图，但很快，仅使用软件就可以创建逼真的全景图。这确实可以改变现状——是的，也许可以让小型创作者创造与元宇宙相关的体验。