Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities

要約

最近、NAS を高価なトレーニング プロセスから解放するために、ゼロショット (トレーニング不要) のニューラル アーキテクチャ検索 (NAS) アプローチが提案されています。
ゼロショット NAS アプローチの背後にある重要なアイデアは、ネットワーク パラメーターをトレーニングせずに、特定のネットワークの精度を予測できるプロキシを設計することです。
これまでに提案されたプロキシは通常、ディープラーニングの理論的理解における最近の進歩に触発されており、いくつかのデータセットと NAS ベンチマークで大きな可能性を示しています。
このペーパーは、ハードウェアの認識に重点を置き、最先端 (SOTA) ゼロショット NAS アプローチを包括的にレビューおよび比較することを目的としています。
この目的を達成するために、まず主流のゼロショット プロキシをレビューし、その理論的基礎について説明します。
次に、大規模な実験を通じてこれらのゼロショット プロキシを比較し、ハードウェアを認識する NAS シナリオとハードウェアを意識しない NAS シナリオの両方でその有効性を実証します。
最後に、より良いプロキシを設計するためのいくつかの有望なアイデアを指摘します。
ソース コードと関連論文のリストは、https://github.com/SLDGroup/survey-zero-shot-nas で入手できます。

要約(オリジナル)

Recently, zero-shot (or training-free) Neural Architecture Search (NAS) approaches have been proposed to liberate NAS from the expensive training process. The key idea behind zero-shot NAS approaches is to design proxies that can predict the accuracy of some given networks without training the network parameters. The proxies proposed so far are usually inspired by recent progress in theoretical understanding of deep learning and have shown great potential on several datasets and NAS benchmarks. This paper aims to comprehensively review and compare the state-of-the-art (SOTA) zero-shot NAS approaches, with an emphasis on their hardware awareness. To this end, we first review the mainstream zero-shot proxies and discuss their theoretical underpinnings. We then compare these zero-shot proxies through large-scale experiments and demonstrate their effectiveness in both hardware-aware and hardware-oblivious NAS scenarios. Finally, we point out several promising ideas to design better proxies. Our source code and the list of related papers are available on https://github.com/SLDGroup/survey-zero-shot-nas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google