FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search

要約

Neural Architecture Search (NAS) は、特定のタスクに合わせたディープ ニューラル ネットワークの最適な構成を特定するための重要なツールとして登場しました。
ただし、多数のアーキテクチャをトレーニングおよび評価すると、かなりの計算オーバーヘッドが発生します。
これを軽減する 1 つの方法は、徹底的なトレーニングを行わずにアーキテクチャの可能性を推定する手段を提供するパフォーマンス予測子を使用することです。
ニューラル アーキテクチャが基本的に有向非巡回グラフ (DAG) に似ていることを考えると、グラフ ニューラル ネットワーク (GNN) は、このような予測タスクには明らかに選択肢となります。
それにもかかわらず、トレーニング データの不足は、GNN ベースの予測子の精度に影響を与える可能性があります。
これに対処するために、NAS 用の新しい GNN 予測子を導入します。
この予測子は、従来のグラフ ビューと逆グラフ ビューの両方を組み合わせることで、ニューラル アーキテクチャをベクトル表現にレンダリングします。
さらに、両方のタイプの表現を効率的に利用できるように、カスタマイズされたトレーニング損失を GNN 予測子内に組み込んでいます。
その後、NAS-Bench-101、NAS-Bench-201、DARTS 検索スペースなどのベンチマーク データセットでの実験を通じて、50 ～ 400 サンプルの範囲のトレーニング データセットを使用して方法を評価しました。
主要な GNN 予測子に対してベンチマークを行った実験結果では、ケンダル-タウ相関が 3% ～ 16% 増加し、予測精度が大幅に向上していることがわかりました。
ソース コードは https://github.com/EMI-Group/fr-nas で入手できます。

要約(オリジナル)

Neural Architecture Search (NAS) has emerged as a key tool in identifying optimal configurations of deep neural networks tailored to specific tasks. However, training and assessing numerous architectures introduces considerable computational overhead. One method to mitigating this is through performance predictors, which offer a means to estimate the potential of an architecture without exhaustive training. Given that neural architectures fundamentally resemble Directed Acyclic Graphs (DAGs), Graph Neural Networks (GNNs) become an apparent choice for such predictive tasks. Nevertheless, the scarcity of training data can impact the precision of GNN-based predictors. To address this, we introduce a novel GNN predictor for NAS. This predictor renders neural architectures into vector representations by combining both the conventional and inverse graph views. Additionally, we incorporate a customized training loss within the GNN predictor to ensure efficient utilization of both types of representations. We subsequently assessed our method through experiments on benchmark datasets including NAS-Bench-101, NAS-Bench-201, and the DARTS search space, with a training dataset ranging from 50 to 400 samples. Benchmarked against leading GNN predictors, the experimental results showcase a significant improvement in prediction accuracy, with a 3%–16% increase in Kendall-tau correlation. Source codes are available at https://github.com/EMI-Group/fr-nas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google