天博体育平台-谷歌发文详解Pixel3中的拍照黑科技——SuperResZoom

发布时间：2021-04-08  栏目：互联网  评论：天博体育平台-谷歌发文详解Pixel3中的拍照黑科技——SuperResZoom已关闭评论

本文摘要：这样的操作者，只要照相机在三脚架上，传感器/镜头就可以移动，有时被称为微步骤。

这样的操作者，只要照相机在三脚架上，传感器/镜头就可以移动，有时被称为微步骤。多年来，这种超分辨率的高分辨率光学方法的应用主要限于实验室，或者用其他方法控制的设置。

在这些设置中，传感器和主体偏移，其间的移动是无意识的，还是被严格允许的。例如，在天文光学中，用相同的望远镜拍摄星空的移动轨迹。但是，在当今智能手机等普遍使用的光学设备和应用程序中，超分辨率的实际应用仍然无法预料。

多帧超强分辨率功能必须符合一些条件。首先，也是最重要的一点，镜头必须比用于传感器更好地处理细节(忽略，可以想象镜头设计不好，再加上更好的传感器也没有什么好处)。数码相机具有罕见而不受欢迎的效果，称为混合。

当摄像机传感器无法回应场景中的所有模式和细节时，图像混合不会再次混合。混合的好例子是龟纹图案(Moirépatterns)，两种程度的图案以一定的角度不会频繁出现。

两组平行线产生的莫尔条纹，一组横向，另一组弯曲5°，物体在场景中移动时，物理特征(表侧等)的混合效果也不变。在以下连拍序列中，可以仔细观察这一点。

在连拍序列中，相机的严重运动会产生时变化的混合效果:左图:高分辨率桌边的单张图像，右图:连拍产生的不同图像框架。混合效果和云纹效果可以在不同的框架之间看到——像素可能会跳跃，产生不同的颜色图案，但我们也可以因灾难而幸福，分析混合效果产生的模式，就不会得到颜色和亮度值的多样性，构筑超分辨率。尽管如此，为了在手持移动设备和任何连拍序列中构建高分辨率，仍然存在许多挑战。

手动构建超强分辨率如上文所述，一些单反相机获得类似的三脚架超强分辨率模式，类似于我们当前所述的方式。这些方法取决于摄像机内传感器和光学器件的物理运动，但摄像机几乎要平稳。但是，这在移动设备上并不现实，因为它们总是手持。

但是，利用手动计划，我们把这个仅次于的难题变成了我们的优势。当我们用手执照相机或手机拍摄一组照片时，屏幕之间总会有一些运动。

光学图像平稳（OIS）系统能够补偿摄像头的大运动——一般间隔1/30秒内的5-20像素移动——但是不能避免更慢、更低的幅度、自然的手动。当用于高清传感器的手机照片时，这种手抖的幅度只有几个像素。在展开处理后，连拍中手掌抽动的结果，为了利用手掌摇动的优势，我们必须首先将高速连拍的照片排列在一起，自由选择高速连拍的照片中的单个照片作为恩或参照帧，偏移与之相关的其他帧。错位后，这些图片大致融合在一起。

当然，手部运动不太可能准确地移动单个像素，所以我们必须在每个新的捕获框架中加入相邻像素，然后将颜色流入基框架的像素网格。由于设备几乎平稳(例如放在三脚架上)，手部运动不频繁时，我们仍然可以通过故意摇晃相机超过模拟自然手部运动的目的，强制OIS模块在相机之间严重移动。这个移动很小，自由选择的时候会妨碍长时间的照片。

但是，在Pixel3上可以自己仔细观察。你可以把手机推到窗口或者最大限度的地图取景器上。如下图右图，可仔细观察远处物体微小但倒数的椭圆运动。

解决超强分辨率的挑战以上是我们对理想过程的叙述，听起来非常简单，但构建超强分辨率并不容易。有很多原因，没有广泛应用于手机等消费产品。

例如，需要很多算法想法。挑战包括:即使在良好的光线条件下，连续拍摄的单个图像也会产生噪音。简单的超强分辨率算法必须意识到这种噪音，正确工作。

我们只想获得更高分辨率的噪音图像。我们的目标是提高分辨率，产生更小的噪音。左:在良好的光照条件下拍摄的单帧图像，由于曝光严重不足，仍有可能包含大量噪音。

右:连拍处理后分割多帧的结果。连拍图片之间的运动在一定程度上局限于摄像头的运动，有可能在简单的场景中运动如风吹过的树叶、水面涟漪、汽车、人脸的变化、火焰的闪光——甚至有些烟民无法视为独立运动。一般来说，几乎不可能相信和局部对准，所以即使运动估算不完美，也必须使用良好的超高分辨率算法。

因为大部分的运动都是随机的，即使有比较好的错位，数据可能会在图片的某个区域密集，而在其他区域密集。超强分辨率的关键是简单的插入问题，因此数据的点状传播在网格的各个部分分分解更高分辨率的图像具有挑战性。

以上所有挑战都可能使超高分辨率在实践中不现实，或者充电不限于静态场景和三脚架的照相机。利用Pixel3上的Super-restom，我们开发了一种稳定准确的连拍分辨率强化方法，用于自然的手部运动，充分强大，可以配置在手机上。

以下是我们解决问题上述挑战的方法：为了在高速连拍的情况下有效地分解框架，为每个像素分解红色、绿色和蓝色值，不需要排除噪音，开发了跨框架构建信息的方法，考虑到图像的边缘，适当地展开了调整。具体来说，我们分析输出框架，调整人群，权衡减少的细节、分辨率、噪音感应和光滑度。我们通过沿着显着的边缘方向分割像素，而不是横穿它来构筑。

效果是我们多帧方法获得噪音增加和细节加固的最佳平衡。为了使算法可靠地处理简单的局部运动场景(人、车、水或树叶移动)，我们开发了鲁棒性模型来检测和减少偏移误差。我们自由选择一帧作为参照图片，相信我们找到正确的对应特征后，才会将其他帧的信息分开。通过这种方式，我们可以防止重影或运动模糊或错误地分割图像部分。

慢行的公交车连拍图片。左:在无鲁棒性模型下分解。右:在鲁棒模型下分割推进移动摄影技术的发展，去年谷歌发售的人物模型和以前的HDRpipeline展示了移动摄影的优势。

今年，我们从焦头烂额杀入。SuperResZoom可以提高计算机摄影技术水平，同时提高移动摄影和数字单反的质量差距。

超强分辨率概念比智能手机频繁出现10年。在完全一定程度宽广的时间里，也通过电影和电视在大众的想象中不存在，也是学术期刊和学术会议上千篇论文的主题。现在，在你手掌的Pixel3中，不存在超高分辨率的现实。

如何最大限度地利用SuperResZoom？这里有关于如何在Pixel3中使用SuperResZoom的技术。图形再行图形，或者用于按钮减少图形的线性步骤。

双击预览，慢转换图形，增大。SuperResZoom可以在所有图形系数下工作，但由于性能原因只转录了1.2倍以上。Pixel广角摄像头的光学分辨率基本允许。

因此，为了最大限度地利用图形，要求保持放大系数高。防止缓慢移动的物体。SuperResZoom可以正确狩猎，但不可能获得更高的分辨率。

viaGoogleBlog发表了5种新硬件，发表了谷歌大秀AI硬件实力原创文章，允许禁止发表。下一篇文章发表了注意事项。

本文关键词：天博平台,天博体育平台,天博平台官网

本文来源：天博平台-www.aozorafes.com

Comments are closed.