CMU 提出 In&Out :以 GAN 逆映射实现多样化的图像超级补全 (Image Outpainting)

编译:CV君

#图像超级补全##Image Outpainting#

In&Out : Diverse Image Outpainting via GAN Inversion

卡内基梅隆大学&加利福尼亚大学默塞德分校&Snap &谷歌

论文:
https://arxiv.org/abs/2104.00675

CMU 提出以 GAN 逆映射实现多样化的图像超级补全

文章从 GAN 逆映射的角度来解决 Image Outpainting(图像超级补全)任务。首先训练一个生成器来合成以其位置为条件的 micro-patches 。在此基础上,提出一个 inversion(逆映射)过程,寻找多个 latent codes(隐藏码)恢复可用区域以及预测 outpainting(补全)区域。

CMU 提出以 GAN 逆映射实现多样化的图像超级补全
CMU 提出以 GAN 逆映射实现多样化的图像超级补全

所提出的框架可以生成多样化的样本,并支持分类特定的 outpainting,使用户控制更加灵活。定性和定量实验证明了拟议框架在视觉质量和多样性方面的有效性。

更多结果:

CMU 提出以 GAN 逆映射实现多样化的图像超级补全

Flickr-Landscape数据集上补全结果

CMU 提出以 GAN 逆映射实现多样化的图像超级补全

LSUN数据集上的补全结果

CMU 提出以 GAN 逆映射实现多样化的图像超级补全

各个方法的对比结果图

所提出的方法比较稳定,合成的上下文比较丰富,结构比较复杂,能够处理一些难以复杂的场景

主页:
https://yccyenchicheng.github.io/InOut/

转载请注明:《CMU 提出 In&Out :以 GAN 逆映射实现多样化的图像超级补全 (Image Outpainting)