Facebook 正在开发 AI 工具来修复因眨眼而毁坏的照片

Facebook 正在开发 AI 工具来修复因眨眼而毁坏的照片

拍摄一张好的人像照片非常困难。从光线不好到姿势不好看,很多错误都会毁掉照片。然而,没有什么比不合时宜的眨眼更能毁掉一幅肖像了。然而,Facebook Research 正在研究一种方法,使用一种人工智能驱动的工具将闭上的眼睛替换为睁开的眼睛,这种方法力求超越简单地复制和粘贴新眼睛。

在肖像中睁开闭眼的想法并不新鲜,但这个过程通常需要直接从另一张照片中提取源材料并将其移植到眨眼的脸上。例如,Adobe 的 Photoshop Elements 软件(其专业图像编辑软件的简化版本)有一个专门为此目的构建的模式。当你使用它时,程序会提示你从同一会话中选择另一张照片(假设你拍摄了多张),其中的人的眼睛是睁开的。然后它可以使用 Adob​​e 的 AI 技术(称为 Sensei)尝试将前一张照片中的眼睛融入眨眼的照片中。

这项功能对于快速修复来说效果出奇地好——尤其是当你考虑到使用功能齐全的 Photoshop 版本仔细粘贴和混合一双新眼睛需要多少步骤时。但是,有些小细节它并不总是正确的,比如特定的照明条件或阴影的方向。

“理解阴影完全是直觉的,”达特茅斯学院计算机科学教授、照片取证专家 Hany Farid 表示。“我可以通过观察阴影推断出光源的位置。”当技术人员从另一张照片中复制粘贴一组眼睛时,可能并不总是考虑到阴影的细微变化等因素,研究表明,这有时会导致最终图像看起来几乎正确,但仍然莫名其妙地奇怪。这就是研究人员希望避免的恐怖谷现象。

Facebook Research 最近发表的一篇论文提出了一种替代闭眼的另一种解决方案,它依赖于深度神经网络,该网络实际上可以使用图像周围(而不仅仅是受影响区域)的背景信息来构建缺失的数据。Facebook 正在使用一种称为通用对抗网络 (GAN) 的技术来填充这些数据。这是最近一波“深度伪造”视频所采用的相同基本技术,在这些视频中,名人似乎说了和做了他们实际上没有做过的事情。

他们使用的 Exemplar GAN 模型从同一个人的其他图像中提取数据,但它只将其用作参考材料,从中了解对象的外观以及他们脸上可能存在的任何识别标记。然后,它使用一种称为“修复”的过程来生成所需信息,用真实的眼睛替换眼睑。这种深度学习需要的参考不只是一张简单的图像,这非常适合 Facebook 的基础设施,它通常可以分析同一用户的许多不同图像,通常是在各种不同的照明情况下。

尽管并不完美,但 Facebook 的初步成果令人印象深刻,但研究人员仍在努力寻找该过程背后算法的最佳训练方法,并解决不可预测的变量,例如照片中眼睛的一部分被头发或眼镜遮挡。

尽管如此,该公司相信这种计算是有用的,甚至不仅仅是修复照片中闪烁的主体。也许人工智能将来可以让我们的个人资料照片看起来更漂亮。除了照片之外,该公司还在开发类似的人工智能工具,将音乐从一种风格转换为另一种风格。

<<:  如果你害怕人工智能,你应该知道它已经无处不在

>>:  太空军并不是美国第一次尝试将军队送入轨道

推荐阅读

我的母亲是科学家

1966 年,韦德尔夫人在拉斯洛米塔斯小学的一年级班收到了第一项家庭作业:我们要弄清楚我们的父亲是做...

超级马里奥即将登陆 iPhone

苹果刚刚宣布了游戏界最令人期待的合作:任天堂的旗舰角色马里奥将登陆 iOS。《超级马里奥跑酷》是一款...

自 1794 年以来,间谍气球一直在监视人类

2 月 4 日,一架 F-22 猛禽隐形战斗机的飞行员首次在空对空战中击落中国侦察气球,向南卡罗来纳...

现代鸟类可能要感谢恐龙肺,它们的存在

鸟类:它们和我们一样。只是它们的肺相对于身体尺寸来说很小(按这个标准,比我们的小得多),并且它们有一...

《虎与麦克》的魅力与评价:猫迷必看的动画

托拉和麦克——猫之间的冒险和友谊故事《虎与麦克》是根据猫卷原作漫画改编的动画,于2021年8月5日至...

一种微小的真菌可以清除冷战时期的核废料

冷战期间,美国产生了数量惊人的放射性废物。我们未能妥善处理大部分污泥,自 1950 年代以来,这些污...

《在雪中》——一首献给所有人的歌曲:动人的故事与美丽的图像的融合

《雪乡》:NHK 经典歌曲在动画中重现1961年12月在NHK教育电视台(现NHK电子电视台)播出的...

科学家制造出可切片的显示屏

几十年来,四边形屏幕一直都是主流,但很快我们的视野将不再局限于四边形。日本国家材料科学研究所的科学家...

超移动 Linux 笔记本之战:Cloudbook、EeePC 和我的旧 Thinkpad

去年 10 月,华硕发布了超便携、超可爱的 EeePC,当时他们可能没有想到会推出一个全新的产品类别...

疫情期间我们看到更多野生动物的真正原因

随着世界放慢脚步以阻止新冠病毒的传播,野生动物闯入如今已安静的城市街道的故事在网上疯传。其中一些故事...

花 20 美元造一张沙发

买家具是一项严肃的消遣。你脑子里浮现出一个想法,然后你知道,你花了几个小时在网上搜索完美的家具。这可...

嘿!龙马——历史与冒险的完美结合

《喂!龙马》:历史与青春交织的动人故事《喂!龙马》是 1992 年至 1993 年在 NHK 综合电...

Kurunekobin 特别版:全面介绍猫的迷人故事

Kurunekobin 特别版的综合评论和推荐概述《Kurunekobin 特别版》于 2009 年...

C3 -C Cube- 的魅力与评价:深入探索 Cube×Cursed×Curíous 的世界

C3 -C Cube- Cube×Cursed×Curíous - 综合评价推荐概述《C3 -C C...

魔神英雄传:无尽时空传说 - 感人的结局及其评论

《魔神勇者乩:无尽时空物语》:跨越时空的勇者的新冒险《魔神勇者传:无尽的时间物语》于 1993 年以...