NAS新突破,仅需半个 GPU day 即可训练出高性能架构

NAS新突破,仅需半个 GPU day 即可训练出高性能架构

作者:CV君

 

推荐一篇近期出来的NAS(神经架构搜索)论文:

Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition

 

神经架构搜索(NAS)中的一个关键组件是一个精度预测器,可以保证被查询架构的精度。为了建立一个高质量的精度预测器,传统的 NAS 算法依赖于训练大量的架构或一个大的超网。这一步往往要消耗几百到几千天的 GPU,影响总的搜索成本。

本次工作就是为解决上述限制,作者提出一种新型模型复杂度指数:Zen-score 来代替 NAS 中的精度预测器。Zen-score 不是预测模型精度,而是直接确定网络的模型复杂度,并且不需要训练其参数。

基于 Zen-score,又开发一种新的 NAS 算法:Zen-NAS,用于大规模的进化架构搜索。

在半个 GPU day 内,Zen-NAS 自动设计的 ZenNets 在 ImageNet 上实现了高达 83.1% 的top-1 精度,与 EfficientNet-B5 的精度相当。在多个 GPU 平台和移动设备上,Zen-Net 的推理速度比相同或更高精度的 EfficientNets 快数倍。

ZenNAS 中最大的可搜索模型在上面是没有限制的,这也就意味着它可以在 1 个 GPU 日内轻松设计出比本作给出的网络(ZenNet-0.8ms)更大更好的网络。

 

NAS新突破,仅需半个 GPU day 即可训练出高性能架构

 

图 6 中显示,ZenNet-0.8ms 的性能仍然没有饱和的迹象,作者没有探索更大的模型,因为ZenNet-0.8ms 的最终训练已经在 8 台 V100 GPU 工作站上需要一周的时间。换句话说,当使用 ZenNAS 设计高性能模型时,真正的瓶颈是最终建立的架构训练,而不是 ZenNAS 本身。这与传统的 NAS 方法截然不同,NAS 步骤是主要成本。

 

作者称 Zen-Net 是唯一一个在 ImageNet 上的 Top-1 准确率可以与 EfficientNet-B5 相媲美的网络,同时在 NVIDIA T4 GPU 上速度快 11 倍。

 

NAS新突破,仅需半个 GPU day 即可训练出高性能架构
NAS新突破,仅需半个 GPU day 即可训练出高性能架构
NAS新突破,仅需半个 GPU day 即可训练出高性能架构
NAS新突破,仅需半个 GPU day 即可训练出高性能架构

 

作者 | Ming Lin, Pichao Wang, Zhenhong Sun, Hesen Chen, Xiuyu Sun, Qi Qian, Hao Li, Rong Jin

单位 | 阿里巴巴

论文 | https://arxiv.org/abs/2102.01063

代码 | https://github.com/idstcv/ZenNAS(预计在2021年2月28日之前开放)

本文为我爱计算机视觉公众号整理,转载请注明出处。

转载请注明:《NAS新突破,仅需半个 GPU day 即可训练出高性能架构