#CV Daily #CVPR2020|基于条件INNs 的内容创建网络融合研究

 

 

#CV Daily ##CVPR2020##图像合成#

 

Network Fusion for Content Creation with Conditional INNs

基于条件INNs 的内容创建网络融合研究

 

人工智能有可能大大减少人工创作内容的工作量。虽然自动化的繁琐工作是受欢迎的,但只有当它允许用户在需要的时候控制创作过程中的某些方面时,它才是有用的。此外,半自动内容创作的广泛采用取决于获得结果和实验新技术所需的专业知识、计算预算和时间等方面的低门槛。

随着最先进的方法依赖于特定任务模型、多GPU设置和数周的训练时间,我们必须找到重用和重新组合的方法来满足这些要求。因此,我们提出了一种方法来替代从头设计和训练可控内容创建的方法,而不是从头开始设计和训练可控内容创建的方法,我们提出了一种方法来重用强大的、现有的模型来完成新的任务,即使这些模型从未为它们设计过。我们将这个问题制定为专家模型之间的翻译,其中包括常见的内容创建场景,如文本到图像和图像到图像的翻译。由于这种翻译是模棱两可的,我们学习一个专家的隐藏表征生成模型,其条件是另一个专家的隐藏表征。在隐藏表示的层面上工作,可以优化利用专家模型训练中的计算努力,以产生这些高效的低维表示。

实验表明,我们的方法可以从最先进的文本专家BERT到最先进的图像专家BigGAN,实现文本到图像的生成,而这两个专家都不能独立完成。

另外,我们的方法在不同的条件图像合成任务中具有广泛的适用性,并比现有的图像修改方法有所改进。

 

作者 | Robin Rombach, Patrick Esser, Björn Ommer

单位 | 海德堡大学

论文 | https://arxiv.org/abs/2005.13580

网站 | https://compvis.github.io/network-fusion/

视频 | https://compvis.github.io/network-fusion/images/32-oral.mp4

查看论文|https://w.url.cn/s/AQR02Kp

CV Daily
分享最新CV论文与实践的“速递专栏”,
发现有价值的技术、关注有意思的应用,
主要在52CV社群分享,你也可以在知乎 CV Daily 专栏找到我。

转载请注明:《#CV Daily #CVPR2020|基于条件INNs 的内容创建网络融合研究