Efficient Multi-objective Neural Architecture Search Framework via Policy Gradient Algorithm

要約

微分可能アーキテクチャ検索は、初期の NAS (EA ベース、RL ベース) 手法と比較して効率が高いため、ニューラル アーキテクチャ検索 (NAS) の分野で徐々に主流の研究トピックになりました。
最近の微分可能な NAS は、検索パフォーマンスのさらなる向上と GPU メモリ消費量の削減も目指しています。
しかし、これらの方法では、多目的検索の要求は言うまでもなく、エネルギー、リソースに制約された効率、その他の指標などの微分不可能な目的に自然に取り組むことはできなくなりました。
多目的 NAS 分野の研究はこれをターゲットとしていますが、各候補アーキテクチャを単独で最適化するため、膨大な計算リソースが必要になります。
この矛盾を考慮して、微分可能NASフレームワークの高効率と多目的NASの非微分可能メトリクス間の互換性のメリットを備えたTND-NASを提案します。
微分可能な NAS フレームワークの下では、探索空間の継続的な緩和により、TND-NAS は、アーキテクチャ パラメータによって漸進的に縮小する探索空間を利用しながら、離散空間で最適化されたアーキテクチャ パラメータを備えています。
私たちの代表的な実験では、例として 2 つの目的 (パラメーター、精度) を採用し、CIFAR10 (1.09M/3.3%、2.4M/2.95%、957M/2.54%) および CIFAR100 (2.46%) で一連の高性能コンパクト アーキテクチャを実現しました。
M/18.3%、5.46/16.73%、12.88/15.20%) データセット。
有利なことに、TND-NAS は他の多目的 NAS 手法と比較して時間がかからず (NVIDIA 1080Ti では 1.3 GPU 日、NSGA-Net の 1/6)、実際の NAS シナリオに簡単に適応できます。
(リソースに制約があり、プラットフォームに特化しています)。

要約(オリジナル)

Differentiable architecture search has gradually become the mainstream research topic in the field of Neural Architecture Search (NAS) for its high efficiency compared with the early NAS (EA-based, RL-based) methods. Recent differentiable NAS also aims at further improving the search performance and reducing the GPU-memory consumption. However, these methods are no longer naturally capable of tackling the non-differentiable objectives, e.g., energy, resource-constrained efficiency, and other metrics, let alone the multi-objective search demands. Researches in the multi-objective NAS field target this but requires vast computational resources cause of the sole optimization of each candidate architecture. In light of this discrepancy, we propose the TND-NAS, which is with the merits of the high efficiency in differentiable NAS framework and the compatibility among non-differentiable metrics in Multi-objective NAS. Under the differentiable NAS framework, with the continuous relaxation of the search space, TND-NAS has the architecture parameters been optimized in discrete space, while resorting to the progressive search space shrinking by architecture parameters. Our representative experiment takes two objectives (Parameters, Accuracy) as an example, we achieve a series of high-performance compact architectures on CIFAR10 (1.09M/3.3%, 2.4M/2.95%, 9.57M/2.54%) and CIFAR100 (2.46M/18.3%, 5.46/16.73%, 12.88/15.20%) datasets. Favorably, compared with other multi-objective NAS methods, TND-NAS is less time-consuming (1.3 GPU-days on NVIDIA 1080Ti, 1/6 of that in NSGA-Net), and can be conveniently adapted to real-world NAS scenarios (resource-constrained, platform-specialized).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google