Learning Where To Look — Generative NAS is Surprisingly Efficient

要約

パフォーマンスの良いニューラル アーキテクチャ (NAS) の効率的で自動化された検索は、最近ますます注目を集めています。
これにより、主要な研究目的は、大規模な検索空間を効率的に探索しながら、コストのかかるニューラル アーキテクチャの評価の必要性を減らすことです。
この目的のために、サロゲート モデルはアーキテクチャを潜在空間に埋め込み、そのパフォーマンスを予測します。一方、ニューラル アーキテクチャの生成モデルは、ジェネレータが引き出す潜在空間内で最適化ベースの検索を可能にします。
サロゲート モデルと生成モデルの両方が、適切に構造化された潜在空間でクエリ効率の高い検索を容易にすることを目的としています。
この論文では、効率的なサロゲート モデルとジェネレーティブ デザインの両方の利点を活用することで、クエリ効率と有望なアーキテクチャ生成の間のトレードオフをさらに改善します。
この目的のために、代理予測子と組み合わせた生成モデルを提案します。これは、ますます有望な潜在部分空間からサンプルを生成することを繰り返し学習します。
このアプローチは、クエリの量を低く抑えながら、非常に効果的かつ効率的なアーキテクチャ検索につながります。
さらに、私たちのアプローチにより、精度やハードウェア レイテンシなどの複数の目標を共同で最適化する簡単な方法が可能になります。
このアプローチの利点は、w.r.t だけではありません。
最高の分類精度のためのアーキテクチャの最適化だけでなく、ハードウェアの制約のコンテキストにおいても、単一および複数の目的のためのいくつかの NAS ベンチマークで最先端の方法よりも優れています。
また、ImageNet で最先端のパフォーマンスを実現します。
コードは http://github.com/jovitalukasik/AG-Net で入手できます。

要約(オリジナル)

The efficient, automated search for well-performing neural architectures (NAS) has drawn increasing attention in the recent past. Thereby, the predominant research objective is to reduce the necessity of costly evaluations of neural architectures while efficiently exploring large search spaces. To this aim, surrogate models embed architectures in a latent space and predict their performance, while generative models for neural architectures enable optimization-based search within the latent space the generator draws from. Both, surrogate and generative models, have the aim of facilitating query-efficient search in a well-structured latent space. In this paper, we further improve the trade-off between query-efficiency and promising architecture generation by leveraging advantages from both, efficient surrogate models and generative design. To this end, we propose a generative model, paired with a surrogate predictor, that iteratively learns to generate samples from increasingly promising latent subspaces. This approach leads to very effective and efficient architecture search, while keeping the query amount low. In addition, our approach allows in a straightforward manner to jointly optimize for multiple objectives such as accuracy and hardware latency. We show the benefit of this approach not only w.r.t. the optimization of architectures for highest classification accuracy but also in the context of hardware constraints and outperform state-of-the-art methods on several NAS benchmarks for single and multiple objectives. We also achieve state-of-the-art performance on ImageNet. The code is available at http://github.com/jovitalukasik/AG-Net .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google