CVPR 2020 论文大盘点-全景分割与视频目标分割篇

 

 

前文已经说过图像分割在CVPR 2020 中所占比例很高,已经跟大家分类别分享过

今天的内容关注于全景分割(Panoptic Segmentation)和视频目标分割(Video Object Segmentation,VOS)。

 

什么是全景分割?

全景分割即同时实现对背景的语义分割和前景的实例分割。这是图像分割领域近来的新趋势,请看下图:

图片来自论文 Panoptic Segmentation,CVPR 2019

上图中,(b)语义分割的结果是相同语义的对象标成相同的颜色,(c)实例分割是对目标前景分个体的像素级标注来,(d)全景分割结合了语义分割和实例分割的结果。

全景分割在CVPR 2019 被提出,但一年多来已经引起广泛关注,CVPR 2020 总计有8篇文章。

 

什么是视频目标分割?

对视频中感兴趣的目标进行分割,给定第一帧mask的VOS称为one-shot VOS (单样本VOS),无第一帧目标mask的称为zero-shot VOS(无样本VOS)。(大家可以在下述论文 Learning Video Object Segmentation From Unlabeled Videos 中了解)

下图为实例级视频目标分割的例子:

图片来自论文 Video Object Segmentation with Re-identification,CVPR 2017

视频目标分割是集检测、跟踪、分割、ReID于一体的计算机视觉任务,提供了更加丰富的信息,标注成本很高,计算量也比较大,近年来随着高性能设备和相关数据集的出现,也越来越受到关注。CVPR 2020 总计有8篇相关文献。

 

   全景分割

  

简单、快速、强大的用于自底向上全景分割的方法,语义分割分支使用Deeplab

[1].Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation

作者 | Bowen Cheng, Maxwell D. Collins, Yukun Zhu, Ting Liu, Thomas S. Huang, Hartwig Adam, Liang-Chieh Chen

单位 | 伊利诺伊大学厄巴纳-香槟分校;谷歌

代码 | https://github.com/bowenc0221/panoptic-deeplab

 

使用双向聚合网络进行遮挡处理用于全景分割

[2].BANet: Bidirectional Aggregation Network With Occlusion Handling for Panoptic Segmentation

作者 | Yifeng Chen, Guangchen Lin, Songyuan Li, Omar Bourahla, Yiming Wu, Fangfang Wang, Junyi Feng, Mingliang Xu, Xi Li

单位 | 浙江大学;郑州大学

 

利用密集检测结果的实时全景分割

[3].Real-Time Panoptic Segmentation From Dense Detections

作者 | Rui Hou, Jie Li, Arjun Bhargava, Allan Raventos, Vitor Guizilini, Chao Fang, Jerome Lynch, Adrien Gaidon

单位 | 丰田研究所;密歇根大学

 

用于全景分割的双向图推理网络

[4].Bidirectional Graph Reasoning Network for Panoptic Segmentation

作者 | Yangxin Wu, Gengwei Zhang, Yiming Gao, Xiajun Deng, Ke Gong, Xiaodan Liang, Liang Lin

单位 | 中山大学;DarkMatter AI Research

 

像素共识投票用于全景分割

[5].Pixel Consensus Voting for Panoptic Segmentation

作者 | Haochen Wang, Ruotian Luo, Michael Maire, Greg Shakhnarovich

单位 | 卡内基·梅隆大学;TTI-Chicago;芝加哥大学

代码 | 即将

 

视频全景分割

[6].Video Panoptic Segmentation

作者 | Dahun Kim, Sanghyun Woo, Joon-Young Lee, In So Kweon

单位 | 韩国科学技术院;Adobe Research

代码 | https://github.com/mcahny/vps

备注 | CVPR 2020 Oral

 

学习实例遮挡用于全景分割

[7].Learning Instance Occlusion for Panoptic Segmentation

作者 | Justin Lazarow, Kwonjoon Lee, Kunyu Shi, Zhuowen Tu

单位 | 加利福尼亚大学圣迭戈分校

 

统一全景分割的训练和推理方法

[8].Unifying Training and Inference for Panoptic Segmentation

作者 | Qizhu Li, Xiaojuan Qi, Philip H.S. Torr

单位 | 牛津大学

   

视频目标分割

 

一种视频目标分割的转换方法,采用标签传播的方式,简单高性能、高效率。

[9].A Transductive Approach for Video Object Segmentation

作者 | Yizhuo Zhang, Zhirong Wu, Houwen Peng, Stephen Lin

单位 | 微软亚洲研究院;卡内基梅隆大学

代码 | https://github.com/microsoft/transductive-vos.pytorch

 

学习快速与鲁棒的目标模型(表观模型与分割模型)用于视频目标分割

[10].Learning Fast and Robust Target Models for Video Object Segmentation

作者 | Andreas Robinson, Felix Jaremo Lawin, Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg

单位 | Linkoping University, Sweden;ETH Zurich, Switzerland;IIAI

代码 | https://github.com/andr345/frtm-vos

 

时序聚合网络与动态模板匹配的快速视频目标分割

[11].Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching

作者 | Xuhua Huang, Jiarui Xu, Yu-Wing Tai, Chi-Keung Tang

单位 | 香港科技大学;腾讯

代码 | https://xuhuaking.github.io/Fast-VOS-DTTM-TAN/(即将)

 

从非标注视频中学习视频目标分割

[12].Learning Video Object Segmentation From Unlabeled Videos

作者 | Xiankai Lu, Wenguan Wang, Jianbing Shen, Yu-Wing Tai, David J. Crandall, Steven C. H. Hoi

单位 | IIAI;苏黎世联邦理工学院;腾讯;印第安纳大学

代码 | https://github.com/carrierlxk/MuG

 

状态感知的跟踪器用于实时的视频目标分割

[13].State-Aware Tracker for Real-Time Video Object Segmentation

作者 | Xi Chen, Zuoxin Li, Ye Yuan, Gang Yu, Jianxin Shen, Donglian Qi

单位 | 浙江大学;旷视

代码 | https://github.com/XavierCHEN34/State-Aware-Tracker

解读 | 漫谈视频目标跟踪与分割

 

交互式视频目标分割

[14].Memory Aggregation Networks for Efficient Interactive Video Object Segmentation

作者 | Jiaxu Miao, Yunchao Wei, Yi Yang

单位 | 百度;悉尼科技大学

 

基于文本的视频分割

[15].Visual-Textual Capsule Routing for Text-Based Video Segmentation

作者 | Bruce McIntosh, Kevin Duarte, Yogesh S Rawat, Mubarak Shah

单位 | 中佛罗里达大学;

 

快速模板匹配与更新,用于视频目标跟踪与分割

[16].Fast Template Matching and Update for Video Object Tracking and Segmentation

作者 | Mingjie Sun, Jimin Xiao, Eng Gee Lim, Bingfeng Zhang, Yao Zhao

单位 | 西郊利物浦;利物浦大学;北京交通大学

代码 | https://github.com/insomnia94/FTMU(即将)

 

更多推荐:

转载请注明:《CVPR 2020 论文大盘点-全景分割与视频目标分割篇