谷歌开发了自己的移动芯片,帮助智能手机拍出更好的照片

谷歌开发了自己的移动芯片,帮助智能手机拍出更好的照片
Google Pixel 2 相机没有采用许多其他制造商采用的双镜头设置。Stan Horaczek

2018 年 2 月 6 日更新:谷歌最初关闭了除相机应用程序之外的所有 Pixel Visual Core,但现在该公司将其打开以供使用,甚至用于外部应用程序。开发人员可以在此处查看开源文档,用户可能会注意到,今后使用其他应用程序拍摄的照片颜色和范围会更加丰富。此更新是本月 Android 更新的一部分,下载后即可生效。

在胶片摄影时代,不同的胶片会产生不同的“外观”——比如,轻盈飘逸或丰富对比。经验丰富的摄影师可以通过观察颜色、对比度和颗粒度等来判断照片所用的是什么胶片。在数字时代,我们不会考虑太多;相反,我们倾向于将原始数字文件视为重现我们眼睛所见的中性尝试。但现实是,智能手机相机在后台进行着大量的处理工作。工程师负责引导该技术以保持美感。新款 Google Pixel 2 手机使用独特的算法和专用图像处理器,赋予其标志性风格。

Pixel 2 相机是由一群工程师开发的,他们也是摄影师,他们对智能手机照片的呈现方式做出了主观选择。重点是鲜艳的色彩和整个画面的高清晰度。“我一眼就能认出 Pixel 2 图像,”谷歌 Pixel 2 开发团队的图像项目经理 Isaac Reynolds 说。“我通常可以通过观察阴影来判断它是来自我们的相机。”

从纸面上看,Pixel 2 的相机硬件与第一代几乎完全相同,使用覆盖范围相同的镜头,分辨率为 1200 万像素。但智能手机摄影越来越依赖于算法和实现算法的芯片组,因此谷歌将大量精力集中在算法上。事实上,谷歌在 Pixel 2 中嵌入了一个名为 Pixel Visual Core 的专用片上系统,以处理成像和机器学习过程所需的繁重工作。

这张照片是 Pixel 2 相机拍摄的。它的颜色非常鲜艳,背景中的明亮高光(称为镜面高光)得到了很好的控制,避免了过度曝光。这是 HDR+ 系统的多重曝光的结果。Stan Horaczek

对于用户来说,Pixel 2 拍照体验的最大改进是其新的高动态范围技术,雷诺兹表示,该技术可覆盖“99.9%”的照片。虽然高动态范围照片对于智能手机相机来说并不是什么新鲜事,但 Pixel 2 的版本(称为 HDR+)却以一种不同寻常的方式实现了这一功能。

每次按下 Pixel 2 上的快门时,相机都会拍摄最多 10 张照片。如果您熟悉典型的 HDR,您会认为每张照片都有不同的曝光度,以优化高光和阴影中的细节。然而,HDR+ 会以相同的曝光度拍摄图像,只允许自然发生的变化(如噪点),将它们分成网格,然后进行比较并将图像组合回一张照片。单独来看,图像看起来很暗,以防止高光过曝,但阴影中的色调会被放大以呈现细节。机器学习算法可以识别并消除数字噪点,这通常发生在您在黑暗区域增加曝光度时。

这一切都发生在几分之一秒内(具体时间取决于具体的拍摄条件),而且用户甚至都不知道。您不必打开 HDR+。这只是相机的工作方式。

所有这些处理能力都来自手机的主硬件,但最终将来自谷歌的全新产品,即 Pixel Visual Core。这是一个专用的移动片上系统,目前内置于 Pixel 2 手机中,但处于休眠状态,需要通过软件更新才能打开。通过从主处理器卸载这些工作,Pixel 2 处理照片的速度比以前快了 5 倍,能效提高了 10 倍。谷歌基本上在智能手机中放置了一台小型计算机,专门用于处理这种图片处理工作。

由于普通智能手机内部相机硬件的限制,所有这些都是必要的。“我们希望有一个全画幅传感器,”雷诺兹说,他指的是成像传感器的尺寸与其低光性能之间通常存在的直接关系。“但是,这么大的传感器会占用手机机身的 40%。”

这张照片是使用原生 Android 相机应用拍摄的。Pixel 2 团队花了很大力气才拍出如此蔚蓝的天空。还要注意杆子上的阴影,虽然很暗,但仍然保留了细节。Stan Horaczek
这张照片是用 Lightroom Mobile 拍摄的,目前只能提供用相机拍摄的单张照片。这是一个原始文件(DNG 格式),有一些明显的差异。天空的颜色明显更浅,并且有一些明显的噪点或伪影,尽管它是在 ISO 53 下拍摄的。每个 DNG 文件的大小也约为 23MB,因此它们占用的空间比完成的 JPEG 要大得多。Stan Horaczek

目前,HDR+ 仅在原生 Android 相机应用中可用。如果您使用 Lightroom 或 Camera + 等第三方程序,您实际上可以看到单张照片和多张照片之间的差异。如您所料,这种差异在阴影中尤为明显,如上图所示。

不过,谷歌计划向第三方开发者开放该平台,以便其他人可以利用额外的计算能力。[注:2018 年 2 月的 Android 更新是 Pixel Visual Core 向其他开发者正式推出的版本]。

在智能手机相机领域,这种向计算相机发展(这种相机能够拍摄出超出普通相机能力的图像)的趋势也不太可能放缓。雷诺兹说:“人们已经开始期待智能手机相机能够拍摄出与他们亲眼所见的场景相匹配的照片。”你现在已经可以在全景模式等无缝拼接多张图像的应用中看到计算摄影的效果。

用户现在还希望智能手机能够模仿更先进的相机,具备所有这些处理能力。人像模式可以伪造中心主体周围的模糊,这在几乎每个平台上都很常见,但谷歌并没有添加特定的人像相机,而是选择了一个后置成像设备,让机器学习处理其余部分。“要获得光学变焦或远摄镜头,你需要在相机背面有一个凸起,”雷诺兹说。“我们用一个相机就能得到我们想要的效果。”

Pixel Visual Core 是一个片上系统,包括自己的处理器和 RAM。它现在处于休眠状态,但将来会开启并向第三方开放,以便在外部应用中启用 HDR+。Google

最后,相机现在也有多种用途,因此硬件需要反映这一点。Google Lens 是一项服务,可让您将手机指向地标或物体以了解更多信息。它在捕捉和识别现实世界中的物体时具有不同的成像要求;增强现实应用也有类似的要求,需要高刷新率和传感器的全帧捕捉。

因此,虽然相机规格在纸面上没有太大变化,但拍摄出的图像却发生了巨大变化。如果这种趋势持续下去,用户将越来越难以注意到这些变化,这并非偶然。事实上,谷歌最近发布的 Clip 相机旨在取代拍摄照片和视频的几乎所有决策——包括编辑。随着机器不断学习,它们永远不会成为比人类更好的摄影师,但它们很可能会影响我们对真正好照片的理解。

<<:  本周我发现了五款酷炫又随机的足球产品

>>:  将家变成卡拉 OK 酒吧的五种酷炫浪漫方式

推荐阅读

《Fate/strange Fake -黎明的耳语-》的魅力与评价:超出期待的全新Fate体验

Fate/strange Fake -Whispers of Dawn- 综合评论及推荐概述《Fat...

微软认为每个人都应该拥有一支机器人大军

尽管 Tay 的公关遭遇失败,但微软仍然坚持认为机器人是新的应用程序。在这种情况下,机器人是指能够使...

武器制造商为加拿大武装部队制造奇异步枪

也许加拿大武装部队正在与无人知晓的温迪戈入侵作斗争。也许他们正在与大脚怪及其驼鹿军队进行一场秘密战争...

《东之伊甸园:剧场版Ⅱ失乐园》评论:天堂的真相究竟是什么?

『东之伊甸园剧场版Ⅱ失乐园』~宏伟故事的结局与魅力■作品概要《东之伊甸园:剧场版 II 失乐园》是...

只需 20 美元即可获得 BJ 一年期会员资格,节省家居用品费用

在日常杂货店购买杂货可能不再像以前那样可持续。随着各地必需品价格上涨,现在是开始通过批发俱乐部会员资...

美国宇航局雷达发现被冰冻掩埋的冷战基地世纪营

冷战时期充满了雄心勃勃、但往往很奇怪的项目。例如:世纪营,美国陆军在格陵兰岛近地表冰盖内建造的地下核...

彻底评价“FASHION”!时尚的世界观和角色究竟有何魅力?

《时尚》:20 世纪 60 年代的先锋动画1960年上映的动画电影《时尚》是当时象征日本动画黎明的...

我们正在毁掉瓦尔登湖,就像我们毁掉世界上一切美好的事物一样

开车去瓦尔登湖的路比你想象的更有郊区的感觉。它仍然很古雅,特别是当你漫步穿过康科德市中心时,那里的商...

我的英雄学院剧场版:你的下一部——它是该系列中最好的电影吗?

《我的英雄学院剧场版:你的下一个》——对未来的希望和英雄的纽带《我的英雄学院剧场版:你的下一个》是...

未来的自拍照将是一个 3D 形象

如果你在等待自拍风潮消退,请确保你处在一个舒适的地方。随着自拍继续主导社交媒体平台,瑞士公司 Dac...

使用富士 X-T4 无反光镜相机拍摄的第一张照片

富士刚刚宣布推出 X-T4,这款相机配备 2610 万像素背照式 CMOS 传感器、比前代产品更大的...

这款发电机利用盐水发电

凝视河流的尽头,咸水和淡水在此交汇。它看上去可能没什么特别,但新研究表明,这可能是一个巨大的电力来源...

这款游戏将后世界末日带到了现代

在一场摧毁人类文明的神秘灾难之后,有毒雾气席卷了大地。获得对致命瘴气免疫力的唯一方法是食用螺旋藻,这...

灵活、有弹性的折纸桥梁可以帮助穿越灾区

折纸传统上涉及制作极其精致的纸质结构,但这种艺术形式的基本原理可能很快就会被调整,以帮助应对棘手的施...

《Tottoko Hamtaro》电影评论:Ham Ham Hamuja!对幻影公主的全面评估

电影《哈姆太郎》:火腿哈姆哈穆加!幻影公主 - 电影评论和详情■ 公共媒体剧院■ 原创媒体漫画■ 发...