多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

作者 | 菜鸟青年
编辑 | CV君
报道 | 我爱计算机视觉(微信id:aicvml)

哈工大、台湾国立清华大学与香港中文大学的研究人员联合提出用于盲图像超分辨的非对称卷积网络,该文收录于IEEE Transactions on Systems, Man, and Cybernetics: Systems (IEEE TSMC)期刊。

该文能通过一个模型解决固定缩放因子图像超分辨、盲图像超分辨问题及解决包含盲噪声的盲超分辨问题,在数字设备上具有良好的应用价值。

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

题目:Asymmetric CNN for image super-resolution

作者: Chunwei Tian, Yong Xu, Wangmeng Zuo, Chia-Wen Lin and David Zhang

单位:哈工大、台湾国立清华大学于香港中文大学

深度卷积神经网络在过去5年内已经被广泛应用到底层视觉领域。已有大部分方法是根据不同应用的属性,以设计适合网络结构。然而,这些结构都通过平等对待所有像素点的方式融合不同特征,以提高目标任务的性能,它们忽视局部像素点的作用而导致低的训练效率。

此外,已有方法都是针对固定缩放因子来训练超分辨模型,这受限于真实的低分辨图像。对此,本文提出一种用于图像超分辨的非对称的卷积神经网络(ACNet)。

首先,ACNet通过一维的非对称卷积结构增强方核作用,以增强局部显著性特征作用并提升训练效率和SR性能;其次,ACNet充分利用低频的网络层次特征解决深度网络长期依赖问题,同时深度特征和宽度特征结合使得获得的低频特征更鲁棒。

接着,ACNet通过一组并行的上采样操作实现盲超分辨模型及盲噪声的盲超分辨模型;最后,ACNet充分利用获得的低频特征和高频特征来学习更准确的超分辨特征以及防止之前操作导致特征过增强现象。

作者通过在多个公开数据集上从PSNR/SSIM、复杂度、恢复高质量图像时间、图像质量评估以及可视化图像(平坦图像、Y通道图像、出错图像、细节信息、纹理图像、边缘图像等)等多方面验证了,所提出ACNet能通过一个模型高效地处理SISR任务、盲超分辨任务及盲噪声的盲超分辨任务,该技术具有良好的应用价值。更多信息如下:

1 网络结构图

 

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

2 上采样操作

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

3 不同方法在不同数据集的SR结果

 

1)不同方法在Set5和Set14数据集对于不同缩放因子的PSNR/SSIM值

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

2)不同方法在B100和U100数据集对于不同缩放因子的PSNR/SSIM值

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

3)复杂度和运行时间

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

4)图像质量评估

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

5)包含低频噪声的低分辨图像复原结果

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

6)包含高频噪声的低分辨图像复原结果

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

7)获得高清图像和Y通道图像的平坦区域可视化结果

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

8)获得错误图像和边缘图像的平坦区域可视化结果

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

9)获得高清图像和Y图像的纹理区域可视化结果

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

10)获得错误图像和边缘图像的纹理区域可视化结果

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

11)获得高清图像和Y图像的细节信息区域可视化结果

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

12)获得错误图像和边缘图像的细节信息区域可视化结果

多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络
多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络

论文:
https://arxiv.org/pdf/2103.13634.pdf

代码:
https://github.com/hellloxiaotian/ACNet

作者更多信息:

https://github.com/hellloxiaotian?tab=repositories

https://sites.google.com/view/chunweitiancv

对应代码还未发布,数据集已经发布,最近在整理中,陆续发布代码~

转载请注明:《多功能的图像超分辨模型:用于盲图像超分辨的非对称卷积神经网络