参考近百篇文献,“图像着色”最全综述

 

最近一段时间,修复百年前的老照片引起了大众广泛的兴趣,这些老照片往往都是黑白的,而给它们上色是修复的重要一环。

 

 

其实图像着色(Image colorization)不仅仅用于对老照片的处理,在深度图像、红外图像可视化等领域也有着广泛应用。尤其是近年来深度学习的发展,极大促进了该领域的发展,但对相关技术和应用的总结却几乎没有。

 

 

近日,来自澳大利亚国立大学等的学者发布了一篇论文 Image Colorization: A Survey and Dataset,参考了近百篇文献,对该问题进行了综述,推出了新的数据集,进行了极具参考价值的总结。

作者 | Saeed Anwar, Muhammad Tahir, Chongyi Li, Ajmal Mian, Fahad Shahbaz Khan, Abdul Wahab Muzaffar

单位 | 澳大利亚国立大学等

论文 | https://arxiv.org/abs/2008.10774

代码&数据集 | https://github.com/saeed-anwar/ColorSurvey(尚未开源)

 

该文贡献:

 

1、对图像着色技术进行了全面回顾,包括问题设置、性能指标和数据集;

2、引入了一个新的基准数据集,命名为 Natural Color Dataset(NCD),专门为着色任务收集;

3、对NCD数据集上的最新模型进行了系统的评估;

4、根据领域类型、网络结构、辅助输入和最终输出的差异,提出了新的着色网络分类法;

5、总结了网络的重要组成部分,提供了新的见解,讨论了图像着色的挑战和未来可能的方向。

图像着色的目的即给定一幅灰度图像,将其转化为RGB彩色图像。但如果在YUV色彩空间处理更方便,因为在YUV空间,Y代表灰度,故典型的着色算法预测像素UV值即可。

 

主要技术分类

 

作者参考了大量文献,对图像着色技术进行了分类:(请点击查看大图)

 

 

作者根据网络结构、输入数据、应用领域、技术特点等对改领域进行了分类。

 

 

平白网络(Plain networks) 即网络结构不含有skip层的传统卷积网络结构算法。

 

 

User-Guided networks 为需要在网络特定层由用户输入颜色值的网络。

 

 

特定领域着色网络(Domain-Specific Colorization networks)即针对特定领域图像,比如近红外图像、合成孔径雷达、雷达、骨架图进行着色。

 

 

基于文本的着色网络(Text-based colorization networks)即根据本文描述输入的对图像着色。

 

 

多样化着色网络(Diverse colorization networks)即不是恢复图像原始色彩,而是生成不同的着色图像。

 

 

多通道网络(multi-path networks)即在不同网络路径中学习不同的特征的网络。

 

基于样例的着色网络(Examplar-based colorization networks)即在着色时由用户给定一幅参考学习样例。

 

常用数据集

  • COCO-stuff dataset
  • PASCAL VOC dataset
  • CIFAR datasets
  • ImageNet ILSVRC2012
  • Palette-and-Text dataset

 

作者提出的NCD数据集图像样例

可见这些数据集大多是从知名的较大规模数据集制作得来。

 

评估标准

 

PSNR 与SSIM,另外作者指出该领域的金标准是用户的主观评价。

另外,作者也指出该领域目前的一些限制:

  • 缺少精确的度量标准
  • 缺少benchmark数据集
  • 缺少相关技术竞赛
  • 缺少开源代码

更详细的内容,请查看原论文。

 

论文下载

“OpenCV中文网”公众号后台回复“着色综述”,即可收到完整论文下载。

转载请注明:《参考近百篇文献,“图像着色”最全综述