NVIDIA ECCV18论文:超像素采样网络助力语义分割与光流估计(代码将开源)

(欢迎关注“我爱计算机视觉”公众号,一个有价值有深度的公众号~)

计算机视觉中超像素指具有相似纹理、颜色、亮度等特征的相邻像素构成的具有一定视觉意义的不规则像素块。它利用像素之间特征的相似性将像素分组,用少量的超像素代替大量的像素来表达图片特征,可以大幅度降低图像后处理的复杂度,通常作为图像分割算法的预处理步骤。其已经广泛应用于图像分割、姿势估计、目标跟踪、目标识别等计算机视觉应用中。

但传统的超像素分割算法由于其数学上的不可微,使得其无法被集成到现今流行的深度神经网络框架进行端到端训练。
来自NVIDIA的研究人员开发了一种新的可微的超像素采样模型,可以直接使用深度神经网络学习超像素分割。文章已被ECCV2018录用。

文中提出的超像素采样网络(Superpixel Sampling Network (SSN))可以完全端到端训练,加上灵活的损失函数使其可以进行特定任务的超像素分割,而且相比传统算法速度上也很有优势。
实验证明SSN算法不仅在超像素分割任务上优于传统的分割算法,而且改进了图像语义分割和光流估计。SSNs可以非常容易地集成到downstream类型的神经网络。

以下该算法的视频介绍和效果:

Superpixel Sampling Network网络总览

图像首先通过深度网络提取每个像素的特征,然后进入可微的SLIC模型生成超像素。上图展示了两个用于指定任务的超像素分割,即语义分割和光流估计。

Superpixel Sampling Network的关键是可微的SLIC算法,下图展示了分割示例和算法流程:

整体网络架构

实验
针对单纯的超像素分割任务,在BSDS500数据集上,SSN取得了远超过传统分割方法的性能,如下图:

在Cityscapes数据集上语义分割超像素的结果,取得了在与最好结果相匹敌的性能。如下图:

在VOC语义分割数据集和MPI-Sintel光流估计数据集上,相比其他超像素分割算法,同样取得了最好的性能。

不同分割数据集上的图像分割示例:

将SSN集成到DeepLab语义分割算法的bilateral inception(BI)网络,获得了显著的性能提升。

速度比较
在现有超像素的开源实现比较,SSN在GPU上的实现具有明显的竞争力。

作者称代码将开源。

项目主页:

https://varunjampani.github.io/ssn/

论文网址:

https://arxiv.org/abs/1807.10174

论文下载:
转发本文到朋友圈,并在“我爱计算机视觉”公众号主界面回复ssn,即可收到该论文和作者的补充材料的百度云下载地址。

(欢迎关注“我爱计算机视觉”公众号,一个有价值有深度的公众号~)

转载请注明:《NVIDIA ECCV18论文:超像素采样网络助力语义分割与光流估计(代码将开源)

发表评论