Pixel-Face:阿里等推出大规模、高分辨率和多样化的 3D 人脸重建数据集

今天新出的论文 Pixel-Face: A Large-Scale, High-Resolution Benchmark for 3D Face Reconstruction 介绍了阿里巴巴、香港中文大学、中科院推出的大型人脸三维重建数据集Pixel-Face。

作者 | Zhang Yunxuan, Rong Yu, Liu Ziwei, Cheng Cheng

单位 | 阿里巴巴;港中文;中科院

Pixel-Face 数据集中的3D样例:

三维人脸重建是一项计算机视觉基本任务,可以促进众多应用,如鲁棒的面部分析和增强现实等

但现有的相关的三维人脸数据集存在诸多限制:

1、高质量数据集较少

2、数量较少

3、真实性不足

4、多样性不足

 

于是作者们推出了 Pixel-Face,一个大规模、高分辨率和多样化的 3D 人脸数据集,含有丰富的标注。

 

下图展示了数据集的部分属性:

 

数据集中样本性别、年龄、表情等相对均衡且多样。

 

具体来说,Pixel-Face 包含 855名 年龄从 18 岁到 80 岁的个体。每个个体均有 20 多个具有各种表情的样本。每个样本由高分辨率多视角 RGB 图像和具有各种表情的 3D 网格组成。训练集含655个体,测试集含200个体。

 

下图展示了数据采集的过程:

 

包括多视图扫描、人脸特征点标注、纹理映射、多视图融合、表面网格生成和深度信息生成等流程。

 

数据集收集了精确的人脸关键点标注和每个数据的 3D 配准结果。为了证明Pixel-Face的优势,利用收集到的数据将3D Morphable Model(3DMM)重新参数化为Pixel-3DM。

 

验证结果表明 Pixel-3DM 在对各种人脸形状和表情建模时效果更好。

 

另外使用该数据集作为训练源在 3D 人脸重建方法进行了基准测试,结果证明Pixel-Face是有效的训练源。微调后,现有的人脸重建模型的性能在已有的基准测试和 Pixel-Face 上都能获得显著性能提高。

大量的实验证明了 Pixel-3DM 的有效性和 Pixel-Face 的实用性。

论文:https://arxiv.org/abs/2008.12444

代码与数据:https://github.com/pixel-face/Pixel-Face

 

目前该数据集读取和操作的代码已开源,获取数据需要向官方 pixel.face.data@gmail.com 申请。

Agreement 格式:

https://github.com/pixel-face/Pixel-Face/blob/master/agreement.docx     x

转载请注明:《Pixel-Face:阿里等推出大规模、高分辨率和多样化的 3D 人脸重建数据集