DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning

要約

Neural Architecture Search (NAS) は、さまざまなコンピューター ビジョン タスクで最先端のパフォーマンスを発揮しました。
達成された優れたパフォーマンスにもかかわらず、既存の方法の効率と一般性は、計算の複雑さが高く一般性が低いため、高く評価されています。
この論文では、動的分散プルーニングを介して DDPNAS と呼ばれる効率的で統合された NAS フレームワークを提案し、精度と効率の理論的限界を促進します。
特に、最初に結合カテゴリ分布からアーキテクチャをサンプリングします。
次に、探索空間が動的に刈り込まれ、その分布が数エポックごとに更新されます。
提案された効率的なネットワーク生成方法を使用して、与えられた制約で最適なニューラル アーキテクチャを直接取得します。これは、さまざまな検索空間と制約にわたるデバイス上のモデルに実用的です。
私たちの方法で検索されたアーキテクチャは、CIFAR-10 と ImageNet (モバイル設定) でそれぞれ 97.56 と 77.2 という驚くべきトップ 1 の精度を達成し、最速の検索プロセス、つまり、Tesla V100 でわずか 1.8 GPU 時間です。
検索およびネットワーク生成用のコードは、https://openi.pcl.ac.cn/PCL AutoML/XNAS で入手できます。

要約(オリジナル)

Neural Architecture Search (NAS) has demonstrated state-of-the-art performance on various computer vision tasks. Despite the superior performance achieved, the efficiency and generality of existing methods are highly valued due to their high computational complexity and low generality. In this paper, we propose an efficient and unified NAS framework termed DDPNAS via dynamic distribution pruning, facilitating a theoretical bound on accuracy and efficiency. In particular, we first sample architectures from a joint categorical distribution. Then the search space is dynamically pruned and its distribution is updated every few epochs. With the proposed efficient network generation method, we directly obtain the optimal neural architectures on given constraints, which is practical for on-device models across diverse search spaces and constraints. The architectures searched by our method achieve remarkable top-1 accuracies, 97.56 and 77.2 on CIFAR-10 and ImageNet (mobile settings), respectively, with the fastest search process, i.e., only 1.8 GPU hours on a Tesla V100. Codes for searching and network generation are available at: https://openi.pcl.ac.cn/PCL AutoML/XNAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google