Automatic Subspace Evoking for Efficient Neural Architecture Search

要約

Neural Architecture Search (NAS) は、定義済みの検索スペースから効果的なアーキテクチャを自動的に見つけることを目的としています。
ただし、多くの場合、検索スペースは非常に大きくなります。
その結果、このような大きな検索空間で直接検索することは簡単ではなく、非常に時間がかかります。
上記の問題に対処するために、各検索ステップで、検索スペースを小さくても効果的なサブスペースに制限して、検索パフォーマンスと検索効率の両方を向上させようとします。
この目的のために、自動的に誘発された部分空間で有望なアーキテクチャを見つける自動部分空間誘発（ASE-NAS）を介した新しいニューラルアーキテクチャ検索方法を提案します。
具体的には、最初にグローバル検索、つまり自動サブスペース呼び出しを実行して、一連の候補から適切なサブスペースを呼び出し/見つけます。
次に、誘発された部分空間内でローカル検索を実行して、効果的なアーキテクチャを見つけます。
さらに重要なことは、適切に設計された/検索されたアーキテクチャを最初の候補サブスペースとして採用することで、検索パフォーマンスをさらに向上させることです。
広範な実験により、当社の ASE-NAS は検索コストを大幅に削減するだけでなく、さまざまなベンチマーク検索スペースで最先端の方法よりも優れたアーキテクチャを見つけることも示されています。

要約(オリジナル)

Neural Architecture Search (NAS) aims to automatically find effective architectures from a predefined search space. However, the search space is often extremely large. As a result, directly searching in such a large search space is non-trivial and also very time-consuming. To address the above issues, in each search step, we seek to limit the search space to a small but effective subspace to boost both the search performance and search efficiency. To this end, we propose a novel Neural Architecture Search method via Automatic Subspace Evoking (ASE-NAS) that finds promising architectures in automatically evoked subspaces. Specifically, we first perform a global search, i.e., automatic subspace evoking, to evoke/find a good subspace from a set of candidates. Then, we perform a local search within the evoked subspace to find an effective architecture. More critically, we further boost search performance by taking well-designed/searched architectures as the initial candidate subspaces. Extensive experiments show that our ASE-NAS not only greatly reduces the search cost but also finds better architectures than state-of-the-art methods in various benchmark search spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google