Efficacy of Neural Prediction-Based NAS for Zero-Shot NAS Paradigm

要約

予測ベースのニューラル アーキテクチャ検索 (NAS) では、グラフ畳み込みネットワークから導出されたパフォーマンス指標が大きな成功を収めています。
これらの指標は、ワンホット エンコーディングを通じてフィードフォワード構造をコンポーネント グラフとして表現することによって実現されますが、さまざまな検索空間にわたってアーキテクチャのパフォーマンスを評価できないという限界に直面しています。
対照的に、ランダムな初期化で同じアーキテクチャを使用する手作りのパフォーマンス インジケーター (ゼロショット NAS) は、複数の検索スペースにわたって一般化できます。
この制限に対処するために、私たちはディープラーニングを使用したゼロショット NAS の新しいアプローチを提案します。
私たちの方法では、畳み込みカーネルのサイン符号化のフーリエ和を採用し、評価中のアーキテクチャと同様の構造を持つ計算フィードフォワード グラフの構築を可能にします。
これらのエンコーディングは学習可能であり、アーキテクチャのトポロジー情報の包括的なビューを提供します。
付随するマルチレイヤー パーセプトロン (MLP) は、エンコーディングに基づいてこれらのアーキテクチャをランク付けします。
実験結果は、NAS-Bench-201 データセット上の相関の点で、私たちのアプローチがグラフ畳み込みネットワークを使用した以前の方法を上回り、より高い収束率を示すことを示しています。
さらに、各 NAS ベンチマークでトレーニングされた抽出された特徴表現は他の NAS ベンチマークに転送可能であり、複数の検索スペースにわたって有望な汎用性を示しています。
コードはhttps://github.com/minh1409/DFT-NPZS-NASから入手できます。

要約(オリジナル)

In prediction-based Neural Architecture Search (NAS), performance indicators derived from graph convolutional networks have shown significant success. These indicators, achieved by representing feed-forward structures as component graphs through one-hot encoding, face a limitation: their inability to evaluate architecture performance across varying search spaces. In contrast, handcrafted performance indicators (zero-shot NAS), which use the same architecture with random initialization, can generalize across multiple search spaces. Addressing this limitation, we propose a novel approach for zero-shot NAS using deep learning. Our method employs Fourier sum of sines encoding for convolutional kernels, enabling the construction of a computational feed-forward graph with a structure similar to the architecture under evaluation. These encodings are learnable and offer a comprehensive view of the architecture’s topological information. An accompanying multi-layer perceptron (MLP) then ranks these architectures based on their encodings. Experimental results show that our approach surpasses previous methods using graph convolutional networks in terms of correlation on the NAS-Bench-201 dataset and exhibits a higher convergence rate. Moreover, our extracted feature representation trained on each NAS-Benchmark is transferable to other NAS-Benchmarks, showing promising generalizability across multiple search spaces. The code is available at: https://github.com/minh1409/DFT-NPZS-NAS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google