谷歌开发了自己的移动芯片,帮助智能手机拍出更好的照片

谷歌开发了自己的移动芯片,帮助智能手机拍出更好的照片
Google Pixel 2 相机没有采用许多其他制造商采用的双镜头设置。Stan Horaczek

2018 年 2 月 6 日更新:谷歌最初关闭了除相机应用程序之外的所有 Pixel Visual Core,但现在该公司将其打开以供使用,甚至用于外部应用程序。开发人员可以在此处查看开源文档,用户可能会注意到,今后使用其他应用程序拍摄的照片颜色和范围会更加丰富。此更新是本月 Android 更新的一部分,下载后即可生效。

在胶片摄影时代,不同的胶片会产生不同的“外观”——比如,轻盈飘逸或丰富对比。经验丰富的摄影师可以通过观察颜色、对比度和颗粒度等来判断照片所用的是什么胶片。在数字时代,我们不会考虑太多;相反,我们倾向于将原始数字文件视为重现我们眼睛所见的中性尝试。但现实是,智能手机相机在后台进行着大量的处理工作。工程师负责引导该技术以保持美感。新款 Google Pixel 2 手机使用独特的算法和专用图像处理器,赋予其标志性风格。

Pixel 2 相机是由一群工程师开发的,他们也是摄影师,他们对智能手机照片的呈现方式做出了主观选择。重点是鲜艳的色彩和整个画面的高清晰度。“我一眼就能认出 Pixel 2 图像,”谷歌 Pixel 2 开发团队的图像项目经理 Isaac Reynolds 说。“我通常可以通过观察阴影来判断它是来自我们的相机。”

从纸面上看,Pixel 2 的相机硬件与第一代几乎完全相同,使用覆盖范围相同的镜头,分辨率为 1200 万像素。但智能手机摄影越来越依赖于算法和实现算法的芯片组,因此谷歌将大量精力集中在算法上。事实上,谷歌在 Pixel 2 中嵌入了一个名为 Pixel Visual Core 的专用片上系统,以处理成像和机器学习过程所需的繁重工作。

这张照片是 Pixel 2 相机拍摄的。它的颜色非常鲜艳,背景中的明亮高光(称为镜面高光)得到了很好的控制,避免了过度曝光。这是 HDR+ 系统的多重曝光的结果。Stan Horaczek

对于用户来说,Pixel 2 拍照体验的最大改进是其新的高动态范围技术,雷诺兹表示,该技术可覆盖“99.9%”的照片。虽然高动态范围照片对于智能手机相机来说并不是什么新鲜事,但 Pixel 2 的版本(称为 HDR+)却以一种不同寻常的方式实现了这一功能。

每次按下 Pixel 2 上的快门时,相机都会拍摄最多 10 张照片。如果您熟悉典型的 HDR,您会认为每张照片都有不同的曝光度,以优化高光和阴影中的细节。然而,HDR+ 会以相同的曝光度拍摄图像,只允许自然发生的变化(如噪点),将它们分成网格,然后进行比较并将图像组合回一张照片。单独来看,图像看起来很暗,以防止高光过曝,但阴影中的色调会被放大以呈现细节。机器学习算法可以识别并消除数字噪点,这通常发生在您在黑暗区域增加曝光度时。

这一切都发生在几分之一秒内(具体时间取决于具体的拍摄条件),而且用户甚至都不知道。您不必打开 HDR+。这只是相机的工作方式。

所有这些处理能力都来自手机的主硬件,但最终将来自谷歌的全新产品,即 Pixel Visual Core。这是一个专用的移动片上系统,目前内置于 Pixel 2 手机中,但处于休眠状态,需要通过软件更新才能打开。通过从主处理器卸载这些工作,Pixel 2 处理照片的速度比以前快了 5 倍,能效提高了 10 倍。谷歌基本上在智能手机中放置了一台小型计算机,专门用于处理这种图片处理工作。

由于普通智能手机内部相机硬件的限制,所有这些都是必要的。“我们希望有一个全画幅传感器,”雷诺兹说,他指的是成像传感器的尺寸与其低光性能之间通常存在的直接关系。“但是,这么大的传感器会占用手机机身的 40%。”

这张照片是使用原生 Android 相机应用拍摄的。Pixel 2 团队花了很大力气才拍出如此蔚蓝的天空。还要注意杆子上的阴影,虽然很暗,但仍然保留了细节。Stan Horaczek
这张照片是用 Lightroom Mobile 拍摄的,目前只能提供用相机拍摄的单张照片。这是一个原始文件(DNG 格式),有一些明显的差异。天空的颜色明显更浅,并且有一些明显的噪点或伪影,尽管它是在 ISO 53 下拍摄的。每个 DNG 文件的大小也约为 23MB,因此它们占用的空间比完成的 JPEG 要大得多。Stan Horaczek

目前,HDR+ 仅在原生 Android 相机应用中可用。如果您使用 Lightroom 或 Camera + 等第三方程序,您实际上可以看到单张照片和多张照片之间的差异。如您所料,这种差异在阴影中尤为明显,如上图所示。

不过,谷歌计划向第三方开发者开放该平台,以便其他人可以利用额外的计算能力。[注:2018 年 2 月的 Android 更新是 Pixel Visual Core 向其他开发者正式推出的版本]。

在智能手机相机领域,这种向计算相机发展(这种相机能够拍摄出超出普通相机能力的图像)的趋势也不太可能放缓。雷诺兹说:“人们已经开始期待智能手机相机能够拍摄出与他们亲眼所见的场景相匹配的照片。”你现在已经可以在全景模式等无缝拼接多张图像的应用中看到计算摄影的效果。

用户现在还希望智能手机能够模仿更先进的相机,具备所有这些处理能力。人像模式可以伪造中心主体周围的模糊,这在几乎每个平台上都很常见,但谷歌并没有添加特定的人像相机,而是选择了一个后置成像设备,让机器学习处理其余部分。“要获得光学变焦或远摄镜头,你需要在相机背面有一个凸起,”雷诺兹说。“我们用一个相机就能得到我们想要的效果。”

Pixel Visual Core 是一个片上系统,包括自己的处理器和 RAM。它现在处于休眠状态,但将来会开启并向第三方开放,以便在外部应用中启用 HDR+。Google

最后,相机现在也有多种用途,因此硬件需要反映这一点。Google Lens 是一项服务,可让您将手机指向地标或物体以了解更多信息。它在捕捉和识别现实世界中的物体时具有不同的成像要求;增强现实应用也有类似的要求,需要高刷新率和传感器的全帧捕捉。

因此,虽然相机规格在纸面上没有太大变化,但拍摄出的图像却发生了巨大变化。如果这种趋势持续下去,用户将越来越难以注意到这些变化,这并非偶然。事实上,谷歌最近发布的 Clip 相机旨在取代拍摄照片和视频的几乎所有决策——包括编辑。随着机器不断学习,它们永远不会成为比人类更好的摄影师,但它们很可能会影响我们对真正好照片的理解。

<<:  本周我发现了五款酷炫又随机的足球产品

>>:  将家变成卡拉 OK 酒吧的五种酷炫浪漫方式

推荐阅读

电影《面包超人:恐怖人与恐怖鬼》的魅力与评价

电影《Go Go!面包超人恐怖故事与Hora Horako》的魅力与评价概述“大胆试试吧!” 《面包...

如果宇航员在太空中漂浮会发生什么?

在本月上映的电影《地心引力》中,两名宇航员在太空行走时发生事故,坠入太空。那么,如果你“落水”了(用...

公路和交通污染可能与低出生体重有关

这不是你想象出来的。交通拥堵确实越来越严重。根据美国交通部 2020 年的一份报告,1982 年,居...

复活灭绝的动物可能弊大于利

科学家可能很快就能让灭绝的物种起死回生。我们不会很快看到猛犸象四处游荡,但最新的争论不是围绕我们能否...

美国宇航局可以再制造 3 个核电池,仅此而已

宇宙中很少有物质像钚-238 一样短缺——这是 NASA 用于为其最强大的航天器提供动力的高温放射性...

著名小说第一句话的地图[信息图]

也许你在学校花了一周时间制作这些,但你班上的图表肯定看起来不太好。Pop Chart Lab 的员工...

高中星光音乐剧《星梦高校》第三季的魅力与评价:动人的表演和角色的成长

Starmyu - 高校星歌剧 - 第三季的魅力与评价《Starmyu - 高校星歌剧 - 第 3 ...

亚马逊地区一半以上的树种处于危险之中

我们从小就在小学和护林员里克的讲解中了解到砍伐雨林的危害。我们知道砍伐雨林是件坏事——许多动物和树木...

《决斗大师胜利》的吸引力与评价:第 9 部系列回顾

决斗大师胜利V-激情与友谊的胜利之路《决斗大师胜利V》是2012年4月7日至2013年3月31日在东...

《文福茶釜》评论:引人入胜的故事和深刻的人物

文福茶壶■ 公共媒体其他的■ 原创媒体传统文学■ 首次出庭日期1932 年 1 月 1 日■频率10...

特斯拉的碳足迹比之前披露的要大得多

尽管特斯拉最新的《影响报告》承诺“可持续的未来触手可及”,但该公司 2022 年的数据表明,准确的测...

终身订阅 Curiosity Stream 可节省 55%

需要看点新内容吗?作为我们限时优惠活动的一部分,截至 7 月 14 日,只需 179.97 美元即可...

太阳能驱动的光帆 2 号航天器在燃烧前最后一次看了地球一眼

在绕地球运行三年多之后,光帆 2 号重新返回地球大气层,并于昨天最终燃烧殆尽。行星学会首席执行官比尔...

2024 年的 11 个奇怪、开创性且可爱的动物故事

无论是社交媒体上引起轰动的大型动物,还是潜伏在海洋午夜区的深海蛞蝓,地球上还有许多令人兴奋的动物等待...

这块神秘的古代石碑可以教会我们一些关于数学的知识

一些研究人员说,巴比伦人发明了三角学,而且做得更好。本周, 《数学史》杂志的一项新研究以一块长期存在...