CVPR 2021 | 中科院发布首个百万像素级的换脸数据库

整理:CV君

#换脸##CVPR 2021#

One Shot Face Swapping on Megapixels

作者称这是首个百万像素级的 One Shot Face Swapping 方法:MegaFS。

MegaFS

首先,MegaFS 通过提出的分层表征人脸编码器(HieRFE)在一个扩展的隐空间中分层组织人脸表征,以保持更多的人脸细节,而不是以前的换脸方法中的压缩表征。

HieRFE

其次,设计一个 Face Transfer Module(FTM),通过非线性轨迹将身份从源图像迁移到目标图像,而不需要明确的特征拆分。

FTM

最后,交换后的人脸可以由 StyleGAN2 合成,优点是训练稳定,生成能力强。

MegaFS 的每一部分都可以单独训练,因此该模型对 GPU 内存的要求可以满足百万像素换脸的要求。因此本次工作中的三大贡献为:完整的人脸表示、稳定的训练和有限的内存使用。

更多的实验页证明了 MegaFS 的优越性,第一个百万像素级的换脸数据库也已发布,用于研究公共领域的 DeepFake 检测和人脸图像编辑。

作者 | Yuhao Zhu, Qi Li, Jian Wang, Chengzhong Xu, Zhenan Sun

单位 | 中科院自动化所;澳门大学;国科大

论文 | https://arxiv.org/abs/2105.04932

数据集 | https://github.com/zyainfal/One-Shot-Face-Swapping-on-Megapixels

备注 | CVPR 2021

转载请注明:《CVPR 2021 | 中科院发布首个百万像素级的换脸数据库