NAAP-440 Dataset and Baseline for Neural Architecture Accuracy Prediction

要約

ニューラル アーキテクチャ検索 (NAS) は、さまざまなターゲット プラットフォームや目的の新しいニューラル アーキテクチャを開発および発見するための一般的なアプローチになっています。
ただし、検索空間のスキャンは、多くの候補アーキテクチャの長いトレーニング プロセスで構成されており、計算リソースと時間の面でコストがかかります。
回帰アルゴリズムは、候補アーキテクチャの精度を予測するための一般的なツールであり、検索手順を大幅に加速できます。
アーキテクチャの精度をそのスキームから予測できる回帰アルゴリズムの開発をサポートする新しいベースラインを提案することを目指しています。
したがって、固定レシピを使用して CIFAR10 でトレーニングされた 440 個のニューラル アーキテクチャの NAAP-440 データセットを紹介します。
私たちの実験では、市販の回帰アルゴリズムを使用し、トレーニング プロセスの最大 10% を実行することで、アーキテクチャの精度をかなり正確に予測できるだけでなく、アーキテクチャの予測値も精度の順序を維持することが示されています。
単調性違反の数を最小限に抑えます。
このアプローチは、NAS ベースの研究を加速するための強力なツールとして機能し、その効率を劇的に向上させる可能性があります。
研究で使用されたデータセットとコードは公開されています。

要約(オリジナル)

Neural architecture search (NAS) has become a common approach to developing and discovering new neural architectures for different target platforms and purposes. However, scanning the search space is comprised of long training processes of many candidate architectures, which is costly in terms of computational resources and time. Regression algorithms are a common tool to predicting a candidate architecture’s accuracy, which can dramatically accelerate the search procedure. We aim at proposing a new baseline that will support the development of regression algorithms that can predict an architecture’s accuracy just from its scheme, or by only training it for a minimal number of epochs. Therefore, we introduce the NAAP-440 dataset of 440 neural architectures, which were trained on CIFAR10 using a fixed recipe. Our experiments indicate that by using off-the-shelf regression algorithms and running up to 10% of the training process, not only is it possible to predict an architecture’s accuracy rather precisely, but that the values predicted for the architectures also maintain their accuracy order with a minimal number of monotonicity violations. This approach may serve as a powerful tool for accelerating NAS-based studies and thus dramatically increase their efficiency. The dataset and code used in the study have been made public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google