即插即用!视频超分中的涨点神器:iSeeBetter

 

作者:Wangsy

 

即插即用!视频超分中的涨点神器:iSeeBetter

CNN让超分结果更真实,GAN让超分结果更丰满,所以CNN+GAN=GOOD!

添加一个鉴别器组件就能使结果增加0.32dB,即插即用,涨点神器!是否在其他的CNN架构上也可行,还需实验验证。

题目:iSeeBetter:iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks

论文:https://arxiv.org/pdf/2006.11161.pdf

代码:https://github.com/amanchadha/iSeeBetter

看点

CNN在大尺度上的超分往往缺乏精细的细节纹理,生成性对抗网络能够缓解这个问题。为此,本文提出了一种基于GAN的时空视频超分方法——iSeeBetter,亮点如下:结合了SR中的SOTA技术: 使用循环反投影网络(RBPN)的作为其生成器,从当前帧和相邻帧中提取时空信息。使用SRGAN中的鉴别器,提高了超分辨率图像的“自然性”,减轻了传统算法中的伪影。优化了损失函数的架构: 本文使用了四重损失函数(MSE、感知损失、对抗损失和全变差损失(TV))来捕捉均方误差(MSE)可能无法捕捉到的图像中的精细细节,加强生成视频的感知质量。

 

即插即用!视频超分中的涨点神器:iSeeBetter

方法

下图展示了分别由RBPN和SRGAN作为生成器和鉴别器的iSeeBetter架构。

 

即插即用!视频超分中的涨点神器:iSeeBetter

 

RBPN中的投影模块有两种从不同来源提取缺失细节的方法:SISR和MISR。下图展示了使用DBPN作为SISR结构的水平流(图2中的蓝色箭头)。

 

即插即用!视频超分中的涨点神器:iSeeBetter

 

下图展示了使用五个残差块作为MISR结构的垂直流(图2中的红色箭头),MISR的输入由LR帧、相邻帧以及它们之间的密集动作流图组成。

 

即插即用!视频超分中的涨点神器:iSeeBetter

 

在每个投影中,RBPN观察LR中丢失的细节,并从相邻帧中提取残差特征来恢复细节。RBPN利用循环编解码机制来融合从SISR和MISR中提取的细节,并通过反投影将它们合并到SR帧中。一旦合成了SR帧,它就被到鉴别器中以验证其“真实性”,鉴别器采用SRGAN的鉴别器,结构如下图所示。

 

即插即用!视频超分中的涨点神器:iSeeBetter

损失

生成的SR图像的感知质量取决于损失函数的选择。为了评估图像的质量,MSE是各种方法中最常用的损失函数,其目的是提高图像的PSNR。但是这可能无法捕获图像中的精细细节,从而影响感知质量。同时,MSE捕获复杂纹理细节的能力有限,生成的视频帧过于平滑。为了解决这些问题,iSeeBetter使用了四重损失,并将这些损失综合起来作为训练iSeeBetter的最终评估标准。

MSE损失

即插即用!视频超分中的涨点神器:iSeeBetter

 

感知损失

即插即用!视频超分中的涨点神器:iSeeBetter

 

对抗损失

即插即用!视频超分中的涨点神器:iSeeBetter

 

全变差损失

即插即用!视频超分中的涨点神器:iSeeBetter

 

总损失

即插即用!视频超分中的涨点神器:iSeeBetter

实验

数据集

为了使iSebetter更加健壮,并使其能够处理真实世界的视频,作者从YouTube收集了额外的数据,将数据集扩充到大约170000个片段,训练/验证/测试分别为其中的80%/10%/10%。训练时采用BI的降质方式,下图展示了数据集的组成。

即插即用!视频超分中的涨点神器:iSeeBetter

 

消融实验

对所提出的架构和损失函数进行消融实验:

即插即用!视频超分中的涨点神器:iSeeBetter

 

量化评估

即插即用!视频超分中的涨点神器:iSeeBetter

转载请注明:《即插即用!视频超分中的涨点神器:iSeeBetter