来自 科技 2020-10-12 10:13 的文章

以人马座为基准,Google的天文摄影是怎么做的?

新酷产品第一时间免费试玩,还有众多优质达人分享独到生活经验,快来众测,体验各领域最前沿、最有趣、最好玩的产品吧~!下载客户端还能获得专享福利哦!


在今年 iPhone 的三摄系统以及国产的几台‘拍照神仙’面前,一直靠着算法打天下的 Pixel 4 确实不再像以前那样抢眼了。

‘祖传’的 IMX363 到今天规格只能沦为别人家的副摄,新增的两倍长焦在别人已经上到 3 倍 5 倍的情况下也不太够看,还缺失了实用性更高的超广角。

但是在发布会上有一个功能还是让人很惊艳——天文摄影。虽说‘可以拍星星的手机’这种名号早已在国产手机上见过,但 Google 做出来就还是很让人好奇它们是怎么实现的,这其中 Google 都在算法上做了什么。

以人马座为基准,Google的天文摄影是怎么做的?

要挖掘这些秘密,Google 的博客是最好的资料馆,Google 在 Pixel 4 手机发布后已经在博客上发表过多篇功能详解的文章,而天文摄影功能就是最新的一篇。

自从 Night Sight(夜视)功能推出以来,Google 就在一直研究在室外暗光拍摄的目的。除了普通的景物之外,Google 意识到拍摄夜晚的天空可能也是一种拍摄场景,并为开发了天文摄影功能。

以人马座为基准,Google的天文摄影是怎么做的?

暗光拍摄有一个大敌就是噪点问题,在进光量不足的情况下,夜晚拍摄的照片会出现让人无法容忍的噪点。解决的方法当然是增加进光量,至于如何增加增加进光量,延长曝光时间是最直接和简单的方法,但随之而来的问题就是会因为场景中物体的运动和手持不稳定导致模糊。

克服这个问题的方法是使用多帧合成来进行提亮降噪,将连续曝光分为多个帧之后,每一帧通过较短的时间曝光,然后对齐帧并补偿场景内的物体运动和手持晃动,之后再通过算法仔细处理没有完美对齐的地方,尽管单个帧看起来可能非常粗糙,但经多帧合成之后亮度、清晰度和纯净度都会得到大幅提升。

上面这些就是现在绝大多数手机在暗光拍摄时会做的事,无论是 AI 自动判断的夜景还是手动切换夜景模式,本质上都是这一套流程,但是要天文摄影的话在需要更为精确的限制,比如限制总帧数要多少张,每一帧有最大曝光时间限制在多少秒。

以人马座为基准,Google的天文摄影是怎么做的?

为了在拍摄效果和拍摄体验中获得平衡,Google 进行了大量的曝光时间实验。就像 Night Sight 做的那样,夜间拍摄必须要考虑到场景中物体的运动情况,比如树木在风中摇曳,云朵在天空中飘荡,月亮和星星也会逐渐升起和落下。并且拍摄者也没有耐心等待太久时间。

最后 Google 决定将一次 Night Sight 的多帧合成限制为 15 帧,每帧的最大曝光时间为 16 秒,拍摄总时间最大限制为 4 分钟。

至于 CMOS 本身因为暗电流产生的热噪点,Google 通过比较帧序列中相邻像素的值筛查中这些异常的噪点,一旦检测到离群值,就用其邻域的平均值替换以将其隐藏,虽然会丢失一点点画面信息,但是最后生成的照片则会纯净很多。

以人马座为基准,Google的天文摄影是怎么做的?

为了让摄影师能够实时进行构图和判断,手机屏幕作为取景器一般至少会每秒更新 15 次画面,将曝光时间限制为 66 毫秒。但是在极为黑暗的环境下,这样的曝光时间根本不足以看清画面,取景器很可能变得漆黑一片,或者只有一点点模糊的影像。

为了帮助在暗光环境下构图,Night Sight 会将曝光的每一帧显示在取景器上,最高 16 秒的曝光可以清晰看到景物,摄影师可以以此来进行构图,并在完全调整好的情况下拍摄第二张照片。

以人马座为基准,Google的天文摄影是怎么做的?

夜空拍摄的还有另一个问题,有时候曝光时间太久,你在屏幕上看到的样张会比实际环境亮非常多,我们常说某些手机‘把夜晚拍成白天’或者‘夜视仪’就是如此,但是在天文摄影上天空并不需要过于明亮,而是和星光形成反差。为此 Google 使用了神经网络和机器学习来训练,通过跟踪天空的轮廓并对超过 10 万张照片进行人工标记,从而将画面中的像素标记为‘天空’或者‘不是天空’。

通过以上一系列操作的结果,Pixel 4 能够在三脚架上获得非常不错的星空表现,或者借助远处的光源,比如月光和路灯拍出一张较为明亮清晰的照片。Google 团队还将人马座作为无月星空下的天空拍摄质量标准,最后得到比人眼所见更多的星空细节。这就是 Pixel 的天文摄影。