A General-Purpose Transferable Predictor for Neural Architecture Search

要約

ニューラル アーキテクチャのパフォーマンスを理解し、モデル化することは、Neural Architecture Search (NAS) の鍵となります。
パフォーマンス予測子は、低コストの NAS で広く使用されており、いくつかの NAS ベンチマークで予測パフォーマンスとグラウンド トゥルース パフォーマンスとの間に高いランキング相関を達成しています。
ただし、既存の予測子は、多くの場合、定義済みの検索空間に固有のネットワーク エンコーディングに基づいて設計されているため、他の検索空間や新しいアーキテクチャ ファミリには一般化できません。
この論文では、基本的な演算子で構成される計算グラフ (CG) を使用して任意の候補畳み込みニューラル ネットワーク (CNN) を表すことにより、検索空間全体に転送できる NAS 用の汎用ニューラル予測子を提案します。
さらに、CG ネットワーク表現を Contrastive Learning (CL) と組み合わせて、複数のファミリーからのラベル付けされていないアーキテクチャの構造情報を活用してパフォーマンス予測子の CG 埋め込みをトレーニングするグラフ表現学習手順を提案します。
NAS-Bench-101、201、および 301 での実験結果は、すべての検索空間で強い正のスピアマン順位相関係数 (SRCC) を達成し、Synflow や Jacov を含むいくつかのゼロコスト プロキシよりも優れているため、スキームの有効性を示しています。
検索空間全体で一般化可能な予測子。
さらに、進化的ニューラル アーキテクチャ検索アルゴリズムで提案された汎用予測子を使用すると、NAS-Bench-101 で高性能アーキテクチャを見つけ、ImageNet で 79.2% のトップ 1 精度を達成する MobileNetV3 アーキテクチャを見つけることができます。

要約(オリジナル)

Understanding and modelling the performance of neural architectures is key to Neural Architecture Search (NAS). Performance predictors have seen widespread use in low-cost NAS and achieve high ranking correlations between predicted and ground truth performance in several NAS benchmarks. However, existing predictors are often designed based on network encodings specific to a predefined search space and are therefore not generalizable to other search spaces or new architecture families. In this paper, we propose a general-purpose neural predictor for NAS that can transfer across search spaces, by representing any given candidate Convolutional Neural Network (CNN) with a Computation Graph (CG) that consists of primitive operators. We further combine our CG network representation with Contrastive Learning (CL) and propose a graph representation learning procedure that leverages the structural information of unlabeled architectures from multiple families to train CG embeddings for our performance predictor. Experimental results on NAS-Bench-101, 201 and 301 demonstrate the efficacy of our scheme as we achieve strong positive Spearman Rank Correlation Coefficient (SRCC) on every search space, outperforming several Zero-Cost Proxies, including Synflow and Jacov, which are also generalizable predictors across search spaces. Moreover, when using our proposed general-purpose predictor in an evolutionary neural architecture search algorithm, we can find high-performance architectures on NAS-Bench-101 and find a MobileNetV3 architecture that attains 79.2% top-1 accuracy on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google