MUNIT:多模式无监督图像到图像翻译(风格转换)

依赖

pytorch,yaml,tensorboard(来自https://github.com/dmlc/tensorboard)和tensorboardX(来自https://github.com/lanpa/tensorboard-pytorch)。

代码库是使用以下软件包使用Anaconda开发的。

conda install pytorch=0.3 torchvision cuda80 -c pytorch;
conda install -y -c anaconda pip;
conda install -y -c anaconda pyyaml;
pip install tensorboard tensorboardX;

我们还提供Dockerfile来构建运行MUNIT代码的环境。

使用示例

测试

首先,下载预训练模型并将它们放入models文件夹中。

多模式翻译

运行以下命令将边缘转换为鞋子

python test.py --config configs/edges2shoes_folder.yaml --input inputs/edge.jpg --output_folder outputs --checkpoint models/edges2shoes.pt --a2b 1

结果存储在outputs文件夹中。默认情况下,它会产生10个随机翻译输出。

示例指导的翻译

以上命令从边缘输入输出不同的鞋子。另外,可以使用示例鞋子图像来控制输出风格。

python test.py --config configs/edges2shoes_folder.yaml --input inputs/edge.jpg --output_folder outputs --checkpoint models/edges2shoes.pt --a2b 1 --style inputs/shoe.jpg

训练

  1. 下载您想要使用的数据集。例如,您可以使用Zhu等人提供的edges2shoes数据集
  2. 设置yaml文件。检查configs/edges2handbags_folder.yaml基于文件夹的数据集组织。将data_root字段更改为下载的数据集的路径。对于基于列表的数据集组织,请检查configs/edges2handbags_list.yaml
  3. 开始训练
    python train.py --config configs/edges2handbags_folder.yaml
    
  4. 中间图像输出和模型二进制文件存储在中 outputs/edges2handbags_folder

结果视频

边缘鞋/手袋翻译

动物图像翻译

街景翻译

优胜美地夏季至冬季翻译(HD)

示例引导的图像翻译

其他实现

MUNIT-Tensorflow作者:Junho Kim

MUNIT-kerasshaoanlu

 

https://github.com/nvlabs/MUNIT

 

转载请注明:《MUNIT:多模式无监督图像到图像翻译(风格转换)

发表评论