CVPR 2020 论文大盘点-抠图Matting篇

 

 

抠图 (Image Matting)是一个非常有趣的领域,它的任务是对图像前景像素的不透明度(alpha 通道)进行计算,方便后续的图像合成编辑。

传统的Matting方法需要输入三色图(Trimap),如下:

该图来自 :http://wangchuan.github.io/archive/projects/robust-matting/

上图中第一行是原图,第二行是Trimap,Trimap用三个数值标识了三类区域:肯定是背景、肯定是前景和不确定,即图中黑、白、灰。

但近来Matting领域一大特征是越来越多的算法尝试无需输入Trimap的抠图,并有了非常惊艳的表现,这大大提高了Matting的易用性,CVPR 2020 三篇 Matting相关论文均如此。

在短视频应用持续爆发的当下,基于此类技术抠图再图像合成,无需绿幕即可实现大片特效的需求肯定会越来越多。

 

大家可以在:

http://openaccess.thecvf.com/CVPR2020.py

按照题目下载这些论文。

 

如果想要下载所有CVPR 2020论文,请点击这里:

CVPR 2020 论文全面开放下载,含主会和workshop

[1].Background Matting: The World Is Your Green Screen 
作者 | Soumyadip Sengupta, Vivek Jayaram, Brian Curless, Steven M. Seitz, Ira Kemelmacher-Shlizerman
单位 | 华盛顿大学
代码 | https://github.com/senguptaumd/Background-Matting
解读 | 这项开源视频抠图技术火了!换背景的方法着实真假难辨

这篇文章刚出来的时候非常轰动,开发者提供了完整的训练和测试代码,并支持在图像和视频上进行抠图,非常具有可玩性。

 

[2].Boosting Semantic Human Matting With Coarse Annotations

作者 | Jinlin Liu, Yuan Yao, Wendi Hou, Miaomiao Cui, Xuansong Xie, Changshui Zhang, Xian-Sheng Hua

单位 | 阿里巴巴;清华大学

该文聚焦于人体的Matting,同样希望摆脱Trimap,该文提出使用前景的粗略标注(比如语义分割算法DeepLab输出的结果mask)改进抠图,同样达到了SOTA的效果,且作者在主流的语义分割数据集上实验,发现对标注mask的提精明显,相信对AI标注公司来说能大大提高人体像素级标注的效率。

不过目前还未发现该文有开源代码。

 

[3].Attention-Guided Hierarchical Structure Aggregation for Image Matting

作者 | Yu Qiao, Yuhao Liu, Xin Yang, Dongsheng Zhou, Mingliang Xu, Qiang Zhang, Xiaopeng Wei

单位 | 大连理工大学;大连大学;郑州大学;北京工商大学

代码/数据集 | https://github.com/wukaoliu/CVPR2020-HAttMatting

这也是一篇不需要提供三色图(trimap)或者其他交互的抠图方法,核心思想是抑制高级特征中的冗余语义,并消除空间线索中无用的背景细节,然后对其进行聚合以预测准确的alpha 通道。为此,该文使用通道注意力(channel-wise attention)模型来蒸馏金字塔特征,并对空间线索使用空间注意力(spatial attention ),以同时消除前景以外的图像纹理细节。

看一下处理结果:

(请点击查看大图)

 

毫发毕现!

更重要而是,该文还构建了大型的Matting数据集,含有59600训练图像和1000测试图像,目前数据集已经公开,代码还未开源。

往期“精彩阅读”

转载请注明:《CVPR 2020 论文大盘点-抠图Matting篇