拍照太糊?你需要了解下美图人像画质修复技术

原标题:拍照太贴?您需要了解美图人像质量恢复技术

机器专栏之心

作者:水户影像实验室

最近,美图影像实验室MTlab针对低质量的图像质量推出了一种有效的图像质量恢复算法,该算法可以轻松解决由于夜间拍摄,拍摄或晃动而引起的图像压缩或模糊和散焦的问题。

在美图秀秀推出的小程序中,用户只需要上传一张旧照片即可使用AI恢复旧时间并使模糊的照片更加高清。

左:原始图像,右:修复结果

据了解,美图的人像质量恢复算法是基于自行开发的超清晰人像生成网络结构BeautyGAN(美人对抗网络),从美图的数亿海量海图数据中学习,使其具有人像质量。进行修复,最大化人像的原始面部信息,并重新定义低质量的图像(人像重定义)。

以下是对MTLab Photo Lab肖像质量恢复技术的详细解释:

最近,林庆霞的一组复古照片在各种社交媒体平台上引起了广泛关注和热烈讨论。它成功地将“ AI老照片还原”带入了公众的视野,并且使更多人在近距离感受到了黑色技术的魅力。由于早期拍摄设备的配置有限,手机像素不足或图片的网络重复复制和压缩,许多旧图片受到严重破坏,清晰度也很差。随着AI的不断发展,特别是生成技术的发展,可以智能地修复旧照片。旧照片通常带有许多回忆,甚至很多人的情感寄托,但是模糊的旧照片无法满足用户日益严格的审美需求。为了解决这一难题,MTlab作为Metro的核心技术研发部门,推出了人像质量恢复技术,该技术可以通过便捷的一键式操作来恢复高清旧照片中的人像。实际上,除了恢复旧照片外,还可以修复包括模糊,失焦,压缩和其他低清晰度肖像质量照片的场景。

依靠先进的深度学习技术,例如降噪,增强,过度评分和强化学习,并在发电网络的基础上,结合了众多对抗性发电网络的前沿技术,BeautyGAN(自行开发) MTlab开发的发电网络结构得到了进一步加强。凭借其强大的数据库,BeautyGAN具有良好的人像还原能力,可以最大程度地还原人像的原始面部信息。通过不断优化网络结构和培训计划,提高了恢复效率,使用户无需等待就可以在几秒钟内看到人像恢复的结果。

恢复人像品质的完整过程

对于要修复的图片,通常需要分两个步骤进行处理。首先,我们使用脸部点来拾取脸部并修复脸部以使其清晰;其次,我们进行彩色噪点消除,噪点消除,马赛克消除,JPEG压缩消除,模糊消除,轻微抖动消除等图像质量修复操作,以达到提高图像质量的效果。

当使用更高分辨率的图像对整个图像进行消噪时,时间会更加严重。为了提高计算效率,美图影像实验室MTlab会将要修复的地图缩小到一定比例,然后执行诸如遮挡和去噪等修复操作。最后,通过导引滤波器网络结构的图像质量增强方案来恢复原始分辨率。并行完成上述面部修复和全图像修复(包括低分辨率修复和高分辨率增强的全图像修复),然后将修复后的面部粘贴回原始图像以合成完整的修复图。重用超细分网络将最终使整体图像质量更加清晰。完整的维修图如图(1)所示。

图(1)图像质量恢复过程

增强图像质量

如上所述,对于具有相对高分辨率的图,直接去噪操作具有诸如占用存储器或存储器高的问题,这导致低计算效率。因此,将原始图像缩小到一定规模以进行低分辨率修复(例如去噪,去模糊等)将大大提高处理效率。低分辨率修复完成后,Wu等人提出的DGF网络结构(Deep Guided Filtering Network)。 [1]恢复为原始分辨率或放大为更大的分辨率。

例如,将1280比例尺的图像缩小为640比例尺以进行去噪,去模糊等操作,并获得640比例尺的修复结果。 DGF网络结构恢复到原始的1280缩放分辨率,但实际上,如果它想变得更大,则可以通过三次插值将原始的1280缩放图像放大到1920(大规模的1920分辨率)(放大的结果将是),然后使用640比例的修复结果加上DGF网络结构来制作1920比例的图像。在实现去噪,去模糊等效果的同时,在1920比例上更加清晰。也就是说,通过低分辨率修复模块和DGF网络结构,可以将1280比例的图像放大到1920比例的分辨率图像。

图(2)DGF图像质量增强网络结构和ResBlock使用情况

其中,IH代表高分辨率的原始图片,IL代表将IH缩小到一定比例的低分辨率图片,OL代表低分辨率图片IL修复结果,以及DGF网络结构具体参数的含义可以参考相应的文档[1],OH0 DGF网络结构输出的结果。

但是,纯DGF网络结构在图像质量上得到了增强,并且一些细节将丢失。因此,通过DGF获得的结果OH0和原始分辨率IH通过concat,然后经过几个ResBlock(通道号4/8通道),即得到最终图像质量增强的结果OH。以下是完整的地图修复(包括面部修复)示例:

图(3)左:原始图像,右:修复结果

图(4)左:原始图像,右:修复结果

图(5)左:原始图像,右:修复结果

面部修复

面部修复具体包括面部修剪和面部生成修复。

1。面剪裁

丢弃眼间距用于切割脸部的方式,并使用最小边界框矩形来切割面部。具体步骤如下:

(a)通过目前成熟的基于cnn的人脸检测和人脸对齐方法得到图像中的人脸点集fp,计算出外切矩形,向外展开得到人脸的裁剪矩形。

(b)通过面的裁剪矩形获得面的旋转角度,在原图像的平方图像之后裁剪面图像f。

2。生成网络设计

由于人脸独特的分布特性,它可以在生成网络结构中学习人脸的通用性,从而产生了许多用于人脸生成的网络结构和一系列特殊的训练方法。但是,面部生成过程中存在面部特征。失去屏蔽能力(如手,刘海等)等信息,使得DL生成人脸与真实人脸之间存在很大差距,可见人脸为假人。但是StyleGAN [2]似乎解决了这个问题,可以生成逼真的人脸,而肉眼看不到真实面孔的差异。它借用了图像样式的迁移,以使生产网络能够生成逼真的面孔。但是它只能生成随机的逼真的人脸,并且不能直接实现一对一的人脸修复,因此您需要为其设计编码器-解码器的网络形式。同时,为了多路复用编码器的特征图,保留面部的面部特征以避免失真,并且需要连接与解码器相对应的特征图。与以前的连接形式不同,更改为concat的方法可以保留编码器结构的部分特征图,以避免严重的面部变形或面部闭塞(如手,刘海等)丢失。具体的网络结构如下图所示:

在缩小采样五次后,输入尺寸为sxs的图片,获得尺寸为s32xs32的特征图,然后再上采样5次以修复尺寸为sxs的修复后的人脸图像。

图(6)面部修复基本网络

3.生成器配置

为了增强BeautyGAN的生成能力,通过StyleGAN的训练方法,对于网络的生成,我们首先训练生成器的生成能力,即输入大小为s32xs32的随机向量,然后生成一个逐层上采样。大小为sxs的面孔可确保生成的面孔看起来不为真。过去,生成的网络生成的某些面孔通常与真实面孔存在差距。乍一看,这是一张假面孔。但是,结合StyleGAN的训练方法,可以将生成的网络生成的脸部逼近真实的脸部,并且肉眼几乎看不到差异。

图(7)解码器网络训练结构

上述解码器网络结构用作生成器,并且鉴别器用于构建GAN网络结构,即由美图成像实验室MTlab开发的gan网络结构 BeautyGAN。其中,concat的每次迭代都会生成一个随机向量,该向量与相应的图层特征图的大小一致,从而提高了生成器的生成能力。

当训练解码器结构以具有生成人脸的能力时,将其与编码器结构结合以训练整个网络结构,从而使编码器部分的学习率高于解码器部分的学习率,并且学习率鉴别器的控制。以下是一些修复示例:

图(8)左:原始图像,右:修复结果

图(9)左:原始图像,右:修复结果

结论

随着对照相场景的需求日益多样化,例如夜间拍摄(模糊,嘈杂),快照(曝光时间短,质量差),用户对图像质量的恢复要求越来越高。为了满足用户对丰富场景的需求,美图影像实验室MTlab开发了一种深度学习算法来恢复人像质量,该算法可帮助用户修复低质量图像的清晰度并解决不同场景对图像质量的需求。目前,该技术已在美图秀秀中成功应用。当然,当前的网络仍然存在一些问题。 MTlab研发人员今后将努力开发更有效的培训方法,充分发挥其在图像还原方面的技术优势,克服技术难题,提高肖像处理能力,并为用户提供更好的摄影体验。

参考文献:

[1] H. Wu,S。Zheng,J。Zhang,和K,Huang。快速的端到端可训练导引滤波器。 CVPR,2018年。

[2] T. Karras,S。Laine和T. Aila。用于生成对抗网络的基于样式的生成器体系结构。 CVPR,2019年

本文是机器专栏的核心,请联系公众号以获取授权。回到搜狐,看看更多

负责编辑:

2019-09-05 12: 08

来源:同步机器的心脏

原标题:拍照太贴?您需要了解美图人像质量恢复技术

机器专栏之心

作者:水户影像实验室

最近,美图影像实验室MTlab针对低质量的图像质量推出了一种有效的图像质量恢复算法,该算法可以轻松解决由于夜间拍摄,拍摄或晃动而引起的图像压缩或模糊和散焦的问题。

在美图秀秀推出的小程序中,用户只需要上传一张旧照片即可使用AI恢复旧时间并使模糊的照片更加高清。

左:原始图像,右:修复结果

据了解,美图的人像质量恢复算法是基于自行开发的超清晰人像生成网络结构BeautyGAN(美人对抗网络),从美图的数亿海量海图数据中学习,使其具有人像质量。进行修复,最大化人像的原始面部信息,并重新定义低质量的图像(人像重定义)。

以下是对MTLab Photo Lab肖像质量恢复技术的详细解释:

几天前,林庆霞的复古照片集在各种社交媒体平台上引起了广泛关注和讨论。他成功地将“ AI老照片还原”带入了公众的视野,也让更多的人感受到了黑色技术的魅力。由于早期拍摄设备的配置有限,手机的像素相对较低,或者图像经过多次重复打印和压缩,使得许多老照片的质量严重下降,清晰度差。随着AI的不断发展,尤其是生成技术的发展,可以智能地修复旧照片。旧照片通常会承载许多回忆,甚至是许多人的情感寄托,但是模糊的旧照片已无法满足用户日益严格的审美需求。为了解决这一难题,美图影像实验室MTlab作为美图的核心技术研发部门,推出了人像质量还原技术,该技术可以通过高清一键式操作还原旧照片中的人像。实际上,除了旧照片修复之外,可以修复的场景还包括模糊,散焦,压缩和其他低调的人像。

在发电网络的基础上,从诸如降噪,增强,超级得分和强化学习等尖端深度学习技术中学习,并结合了众多针对对抗性发电网络的尖端技术,从而进一步增强了MTLAB自行开发生成网络结构BeautyGAN的生成功能。美图凭借其强大的数据基础,具有良好的肖像还原能力,可以还原肖像的原始面部信息。通过不断优化网络结构和培训计划,提高了修复效率,使用户无需等待就可以在几秒钟内看到人像修复的结果。

人像质量恢复的完整过程

对于要修复的图片,通常分两步进行处理。首先,用脸部拾取脸部,修复脸部,使其清晰;其次,整个图像是去除噪声,去噪,去马赛克,jpeg压缩,去模糊,轻微抖动和其他图像质量恢复。操作以实现图像质量增强。

当使用更高分辨率的图像对整个图像进行消噪时,时间会更加严重。为了提高计算效率,美图影像实验室MTlab会将要修复的地图缩小到一定比例,然后执行诸如遮挡和去噪等修复操作。最后,通过导引滤波器网络结构的图像质量增强方案来恢复原始分辨率。并行完成上述面部修复和全图像修复(包括低分辨率修复和高分辨率增强的全图像修复),然后将修复后的面部粘贴回原始图像以合成完整的修复图。重用超细分网络将最终使整体图像质量更加清晰。完整的维修图如图(1)所示。

图(1)图像质量恢复过程

增强图像质量

如上所述,对于具有相对高分辨率的图,直接去噪操作具有诸如占用存储器或存储器高的问题,这导致低计算效率。因此,将原始图像缩小到一定规模以进行低分辨率修复(例如去噪,去模糊等)将大大提高处理效率。低分辨率修复完成后,Wu等人提出的DGF网络结构(Deep Guided Filtering Network)。 [1]恢复为原始分辨率或放大为更大的分辨率。

例如,将1280比例尺的图像缩小为640比例尺以进行去噪,去模糊等操作,并获得640比例尺的修复结果。 DGF网络结构恢复到原始的1280缩放分辨率,但实际上,如果它想变得更大,则可以通过三次插值将原始的1280缩放图像放大到1920(大规模的1920分辨率)(放大的结果将是),然后使用640比例的修复结果加上DGF网络结构来制作1920比例的图像。在实现去噪,去模糊等效果的同时,在1920比例上更加清晰。也就是说,通过低分辨率修复模块和DGF网络结构,可以将1280比例的图像放大到1920比例的分辨率图像。

图(2)DGF图像质量增强网络结构和ResBlock使用情况

其中,IH代表高分辨率的原始图片,IL代表将IH缩小到一定比例的低分辨率图片,OL代表低分辨率图片IL修复结果,以及DGF网络结构具体参数的含义可以参考相应的文档[1],OH0 DGF网络结构输出的结果。

但是,纯DGF网络结构在图像质量上得到了增强,并且一些细节将丢失。因此,通过DGF获得的结果OH0和原始分辨率IH通过concat,然后经过几个ResBlock(通道号4/8通道),即得到最终图像质量增强的结果OH。以下是完整的地图修复(包括面部修复)示例:

图(3)左:原始图像,右:修复结果

图(4)左:原始图像,右:修复结果

图(5)左:原始图像,右:修复结果

面部修复

面部修复特别包括面部修剪和面部生成修复。

1.面部剪裁

放弃使用眼睛间距切割脸部的方式,并使用最小的边界框矩形切割脸部的方式。具体步骤如下:

(a)通过当前成熟的基于CNN的人脸检测和人脸对齐方法获取图像中的人脸点集FP,计算外接矩形,向外扩展以获得人脸的裁剪矩形。

(b)通过脸部的裁剪矩形获得脸部的旋转角度,并且在从原始图像的平方图像之后裁剪脸部图像F。

2.生成网络设计

由于人脸独特的分布特性,它可以在生成网络结构中学习人脸的通用性,从而产生了许多用于人脸生成的网络结构和一系列特殊的训练方法。但是,面部生成过程中存在面部特征。失去屏蔽能力(如手,刘海等)等信息,使得DL生成人脸与真实人脸之间存在很大差距,可见人脸为假人。但是StyleGAN [2]似乎解决了这个问题,可以生成逼真的人脸,而肉眼看不到真实面孔的差异。它借用了图像样式的迁移,以使生产网络能够生成逼真的面孔。但是它只能生成随机的逼真的人脸,并且不能直接实现一对一的人脸修复,因此您需要为其设计编码器-解码器的网络形式。同时,为了多路复用编码器的特征图,保留面部的面部特征以避免失真,并且需要连接与解码器相对应的特征图。与以前的连接形式不同,更改为concat的方法可以保留编码器结构的部分特征图,以避免严重的面部变形或面部闭塞(如手,刘海等)丢失。具体的网络结构如下图所示:

在缩小采样五次后,输入尺寸为sxs的图片,获得尺寸为s32xs32的特征图,然后再上采样5次以修复尺寸为sxs的修复后的人脸图像。

图(6)面部修复基本网络

3.生成器配置

为了增强BeautyGAN的生成能力,通过StyleGAN的训练方法,对于网络的生成,我们首先训练生成器的生成能力,即输入大小为s32xs32的随机向量,然后生成一个逐层上采样。大小为sxs的面孔可确保生成的面孔看起来不为真。过去,生成的网络生成的某些面孔通常与真实面孔存在差距。乍一看,这是一张假面孔。但是,结合StyleGAN的训练方法,可以将生成的网络生成的脸部逼近真实的脸部,并且肉眼几乎看不到差异。

图(7)解码器网络训练结构

上述解码器网络结构用作生成器,并且鉴别器用于构建GAN网络结构,即由美图成像实验室MTlab开发的gan网络结构 BeautyGAN。其中,concat的每次迭代都会生成一个随机向量,该向量与相应的图层特征图的大小一致,从而提高了生成器的生成能力。

当训练解码器结构以具有生成人脸的能力时,将其与编码器结构结合以训练整个网络结构,从而使编码器部分的学习率高于解码器部分的学习率,并且学习率鉴别器的控制。以下是一些修复示例:

图(8)左:原始图像,右:修复结果

图(9)左:原始图像,右:修复结果

结论

随着诸如夜间摄影(模糊,嘈杂的点),快照(曝光时间短,质量差)等摄影场景要求的多样化的增加,用户对图像质量的恢复提出了越来越高的要求。为了满足用户丰富的场景使用需求,MTlab开发了用于图像质量恢复的深度学习算法,该算法可帮助用户修复低清晰度图像质量的定义并解决不同场景的照相需求,以提高图像质量。目前,该技术已成功应用于Metro Show。当然,当前的网络仍然存在一些问题。 MTlab的研究人员将致力于将来开发更有效的培训方法,充分发挥其在图像恢复方面的技术优势,克服技术难题,提高肖像处理能力并为用户提供更好的照片体验。

参考文献:

[1] H. Wu,S。Zheng,J。Zhang,和K,Huang。快速的端到端可训练导引滤波器。 CVPR,2018年。

[2] T. Karras,S。Laine和T. Aila。用于生成对抗网络的基于样式的生成器体系结构。 CVPR,2019年

本文是“机器的心脏”专栏文章。请联系该公用电话以获得复制授权。回到搜狐,看看更多

负责编辑:

声明:本文仅代表作者本人。搜狐是一个信息发布平台。搜狐仅提供信息存储空间服务。

图片质量

肖像

水户

分辨率

阅读()