Differentiable Architecture Search with Random Features

要約

微分可能アーキテクチャ検索 (DARTS) は、その高い検索効率と有効性により、NAS 技術の開発を大幅に促進しましたが、パフォーマンスの低下に悩まされています。
この論文では、DARTS のパフォーマンス低下の問題を 2 つの側面から軽減するための取り組みを行います。
まず、DARTS におけるスーパーネットの表現力を調査し、BatchNorm のトレーニングのみで DARTS パラダイムの新しいセットアップを導き出します。
第二に、ランダムな機能がスーパーネットの最適化におけるスキップ接続の補助接続の役割を薄め、検索アルゴリズムがより公平な操作の選択に集中できるようにし、それによってパフォーマンスの崩壊の問題を解決することを理論的に見出しました。
ランダム機能を使用して DARTS と PC-DARTS をインスタンス化し、RF-DARTS と RF-PCDARTS という名前のそれぞれの改善されたバージョンを構築します。
実験結果は、RF-DARTS が CIFAR-10 で \textbf{94.36\%} のテスト精度 (NAS-Bench-201 で最も近い最適な結果) を取得し、最新の最先端のトップ 1 を達成することを示しています。
CIFAR-10 からの転送時に ImageNet で \textbf{24.0\%} のテスト エラーが発生しました。
さらに、RF-DARTS は、3 つのデータセット (CIFAR-10、CIFAR-100、および SVHN) と 4 つの検索スペース (S1-S4) にわたって堅牢に機能します。
その上、RF-PCDARTS は ImageNet でさらに優れた結果を達成します。つまり、\textbf{23.9\%} トップ 1 および \textbf{7.1\%} トップ 5 テスト エラーであり、単一パス、トレーニング フリーなどの代表的な方法を上回ります。
、およびImageNetで直接検索された部分チャネルパラダイム。

要約(オリジナル)

Differentiable architecture search (DARTS) has significantly promoted the development of NAS techniques because of its high search efficiency and effectiveness but suffers from performance collapse. In this paper, we make efforts to alleviate the performance collapse problem for DARTS from two aspects. First, we investigate the expressive power of the supernet in DARTS and then derive a new setup of DARTS paradigm with only training BatchNorm. Second, we theoretically find that random features dilute the auxiliary connection role of skip-connection in supernet optimization and enable search algorithm focus on fairer operation selection, thereby solving the performance collapse problem. We instantiate DARTS and PC-DARTS with random features to build an improved version for each named RF-DARTS and RF-PCDARTS respectively. Experimental results show that RF-DARTS obtains \textbf{94.36\%} test accuracy on CIFAR-10 (which is the nearest optimal result in NAS-Bench-201), and achieves the newest state-of-the-art top-1 test error of \textbf{24.0\%} on ImageNet when transferring from CIFAR-10. Moreover, RF-DARTS performs robustly across three datasets (CIFAR-10, CIFAR-100, and SVHN) and four search spaces (S1-S4). Besides, RF-PCDARTS achieves even better results on ImageNet, that is, \textbf{23.9\%} top-1 and \textbf{7.1\%} top-5 test error, surpassing representative methods like single-path, training-free, and partial-channel paradigms directly searched on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google