谷歌开发了自己的移动芯片,帮助智能手机拍出更好的照片

谷歌开发了自己的移动芯片,帮助智能手机拍出更好的照片
Google Pixel 2 相机没有采用许多其他制造商采用的双镜头设置。Stan Horaczek

2018 年 2 月 6 日更新:谷歌最初关闭了除相机应用程序之外的所有 Pixel Visual Core,但现在该公司将其打开以供使用,甚至用于外部应用程序。开发人员可以在此处查看开源文档,用户可能会注意到,今后使用其他应用程序拍摄的照片颜色和范围会更加丰富。此更新是本月 Android 更新的一部分,下载后即可生效。

在胶片摄影时代,不同的胶片会产生不同的“外观”——比如,轻盈飘逸或丰富对比。经验丰富的摄影师可以通过观察颜色、对比度和颗粒度等来判断照片所用的是什么胶片。在数字时代,我们不会考虑太多;相反,我们倾向于将原始数字文件视为重现我们眼睛所见的中性尝试。但现实是,智能手机相机在后台进行着大量的处理工作。工程师负责引导该技术以保持美感。新款 Google Pixel 2 手机使用独特的算法和专用图像处理器,赋予其标志性风格。

Pixel 2 相机是由一群工程师开发的,他们也是摄影师,他们对智能手机照片的呈现方式做出了主观选择。重点是鲜艳的色彩和整个画面的高清晰度。“我一眼就能认出 Pixel 2 图像,”谷歌 Pixel 2 开发团队的图像项目经理 Isaac Reynolds 说。“我通常可以通过观察阴影来判断它是来自我们的相机。”

从纸面上看,Pixel 2 的相机硬件与第一代几乎完全相同,使用覆盖范围相同的镜头,分辨率为 1200 万像素。但智能手机摄影越来越依赖于算法和实现算法的芯片组,因此谷歌将大量精力集中在算法上。事实上,谷歌在 Pixel 2 中嵌入了一个名为 Pixel Visual Core 的专用片上系统,以处理成像和机器学习过程所需的繁重工作。

这张照片是 Pixel 2 相机拍摄的。它的颜色非常鲜艳,背景中的明亮高光(称为镜面高光)得到了很好的控制,避免了过度曝光。这是 HDR+ 系统的多重曝光的结果。Stan Horaczek

对于用户来说,Pixel 2 拍照体验的最大改进是其新的高动态范围技术,雷诺兹表示,该技术可覆盖“99.9%”的照片。虽然高动态范围照片对于智能手机相机来说并不是什么新鲜事,但 Pixel 2 的版本(称为 HDR+)却以一种不同寻常的方式实现了这一功能。

每次按下 Pixel 2 上的快门时,相机都会拍摄最多 10 张照片。如果您熟悉典型的 HDR,您会认为每张照片都有不同的曝光度,以优化高光和阴影中的细节。然而,HDR+ 会以相同的曝光度拍摄图像,只允许自然发生的变化(如噪点),将它们分成网格,然后进行比较并将图像组合回一张照片。单独来看,图像看起来很暗,以防止高光过曝,但阴影中的色调会被放大以呈现细节。机器学习算法可以识别并消除数字噪点,这通常发生在您在黑暗区域增加曝光度时。

这一切都发生在几分之一秒内(具体时间取决于具体的拍摄条件),而且用户甚至都不知道。您不必打开 HDR+。这只是相机的工作方式。

所有这些处理能力都来自手机的主硬件,但最终将来自谷歌的全新产品,即 Pixel Visual Core。这是一个专用的移动片上系统,目前内置于 Pixel 2 手机中,但处于休眠状态,需要通过软件更新才能打开。通过从主处理器卸载这些工作,Pixel 2 处理照片的速度比以前快了 5 倍,能效提高了 10 倍。谷歌基本上在智能手机中放置了一台小型计算机,专门用于处理这种图片处理工作。

由于普通智能手机内部相机硬件的限制,所有这些都是必要的。“我们希望有一个全画幅传感器,”雷诺兹说,他指的是成像传感器的尺寸与其低光性能之间通常存在的直接关系。“但是,这么大的传感器会占用手机机身的 40%。”

这张照片是使用原生 Android 相机应用拍摄的。Pixel 2 团队花了很大力气才拍出如此蔚蓝的天空。还要注意杆子上的阴影,虽然很暗,但仍然保留了细节。Stan Horaczek
这张照片是用 Lightroom Mobile 拍摄的,目前只能提供用相机拍摄的单张照片。这是一个原始文件(DNG 格式),有一些明显的差异。天空的颜色明显更浅,并且有一些明显的噪点或伪影,尽管它是在 ISO 53 下拍摄的。每个 DNG 文件的大小也约为 23MB,因此它们占用的空间比完成的 JPEG 要大得多。Stan Horaczek

目前,HDR+ 仅在原生 Android 相机应用中可用。如果您使用 Lightroom 或 Camera + 等第三方程序,您实际上可以看到单张照片和多张照片之间的差异。如您所料,这种差异在阴影中尤为明显,如上图所示。

不过,谷歌计划向第三方开发者开放该平台,以便其他人可以利用额外的计算能力。[注:2018 年 2 月的 Android 更新是 Pixel Visual Core 向其他开发者正式推出的版本]。

在智能手机相机领域,这种向计算相机发展(这种相机能够拍摄出超出普通相机能力的图像)的趋势也不太可能放缓。雷诺兹说:“人们已经开始期待智能手机相机能够拍摄出与他们亲眼所见的场景相匹配的照片。”你现在已经可以在全景模式等无缝拼接多张图像的应用中看到计算摄影的效果。

用户现在还希望智能手机能够模仿更先进的相机,具备所有这些处理能力。人像模式可以伪造中心主体周围的模糊,这在几乎每个平台上都很常见,但谷歌并没有添加特定的人像相机,而是选择了一个后置成像设备,让机器学习处理其余部分。“要获得光学变焦或远摄镜头,你需要在相机背面有一个凸起,”雷诺兹说。“我们用一个相机就能得到我们想要的效果。”

Pixel Visual Core 是一个片上系统,包括自己的处理器和 RAM。它现在处于休眠状态,但将来会开启并向第三方开放,以便在外部应用中启用 HDR+。Google

最后,相机现在也有多种用途,因此硬件需要反映这一点。Google Lens 是一项服务,可让您将手机指向地标或物体以了解更多信息。它在捕捉和识别现实世界中的物体时具有不同的成像要求;增强现实应用也有类似的要求,需要高刷新率和传感器的全帧捕捉。

因此,虽然相机规格在纸面上没有太大变化,但拍摄出的图像却发生了巨大变化。如果这种趋势持续下去,用户将越来越难以注意到这些变化,这并非偶然。事实上,谷歌最近发布的 Clip 相机旨在取代拍摄照片和视频的几乎所有决策——包括编辑。随着机器不断学习,它们永远不会成为比人类更好的摄影师,但它们很可能会影响我们对真正好照片的理解。

<<:  本周我发现了五款酷炫又随机的足球产品

>>:  将家变成卡拉 OK 酒吧的五种酷炫浪漫方式

推荐阅读

《交响情人梦终章》——情感与音乐的融合:彻底解析最终章的魅力

《交响情人梦终章》——音乐与爱情的高潮《交响情人梦终章》是改编自二宫朋子创作的人气漫画的电视动画系列...

如何以及何时将夏季轮胎换成冬季轮胎

当温暖的夏日空气让位于即将来临的寒冬时,你们中的一些人可能更多地考虑的是晒黑的皮肤褪色和失去的海滩时...

通过这个 29 美元的在线训练营提高你的编码素养

就像你不需要真正理解日常生活中的二次公式一样,你也不需要学习如何编程。大多数人一辈子都不会写一行代码...

美国宇航局令人难以置信的系外行星搜寻望远镜即将发射

对于太空望远镜来说,这是一个艰难的月份。首先,我们得知开普勒望远镜的燃料即将耗尽,这标志着它作为系外...

地球有 8 个稳定指标,我们正在突破其中大部分

2010 年,国际非政府组织世界野生动物基金会 (WWF) 报告称,人类每年消耗地球土地和资源的速度...

Twitter 刚刚起步的虚假信息工具正在添加别名

Twitter 周一宣布,其众包虚假信息打击工具 Birdwatch 将为其贡献者引入别名。贡献者将...

新发现的深海蠕虫移动起来就像一张“活的魔毯”

地球上的深海蠕虫在一些相当不适宜居住的地方生存和繁衍。有些蠕虫会发光,在太阳强光无法照射到的深海区域...

我们是否发现了外星人在遥远恒星周围建造的巨型结构?

开普勒太空望远镜的任务是寻找可能适合生命存在的遥远行星。但据《大西洋月刊》报道,科学家们正在探索该望...

HUNTER×HUNTER的魅力与口碑:冒险与成长的故事

HUNTER×HUNTER - 全职猎人 - 评论和推荐■ 公共媒体电视动画系列■ 原创媒体动漫原创...

SpaceX 历史性的猎鹰 9 号发射成功记录以失败告终

7 月 11 日晚上,SpaceX 猎鹰 9 号火箭从加利福尼亚州范登堡太空基地发射后约一小时发生爆...

评《黑色子弹》:黑暗奇幻的魅力与深度

极深渊的布伦希尔德 深渊之谜与少女们的战斗概述《极黑的布伦希尔德》是改编自冈本琳恩的同名漫画的电视动...

正确分类衣物可以延长衣服的使用寿命

也许是你的妈妈,也许是电视节目,但在你生命中的某个时刻,可能有人告诉你,你需要对衣物进行分类。基本理...

《八刀龟日记》第一集观感与评论

《八刀龟日记》:一部充满名古屋魅力和方言幽默的短篇动画《夜刀龟日记》是一部12集短篇动画,于2019...

沙漠雏菊用性感的进化欺骗雄性苍蝇

几十年来,科学家一直在研究南非雏菊( Gorteria diffusa )吸引花粉的欺骗性方法。它利...

我们不知道气候变化将如何影响大多数陆地哺乳动物

到目前为止,你可能认为我们已经非常了解气候变化将如何影响地球。但一组研究人员刚刚揭示了我们知识中一个...