NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks

要約

ほとんどの既存のニューラル アーキテクチャ検索 (NAS) ベンチマークとアルゴリズムは、よく研究されたタスクを優先します。
CIFAR または ImageNet での画像分類。
これにより、より多様な分野における NAS アプローチのパフォーマンスが十分に理解されなくなります。
このホワイト ペーパーでは、NAS-Bench-360 を紹介します。NAS-Bench-360 は、アーキテクチャ検索で従来研究されてきたものを超えたドメインの方法を評価するためのベンチマーク スイートであり、それを使用して次の質問に対処します。
多様なタスク？
ベンチマークを構築するために、さまざまなアプリケーション ドメイン、データセットのサイズ、問題の次元、および学習目標にまたがる 10 のタスクを厳選しました。
各タスクは、最新の CNN ベースの検索方法と相互運用できるように慎重に選択されていますが、元の開発ドメインからはかけ離れている可能性があります。
NAS 研究の速度を上げてコストを削減するために、2 つのタスクについて、標準の CNN 検索空間を構成する 15,625 のアーキテクチャの事前計算されたパフォーマンスをリリースします。
実験的に、NAS-Bench-360 が可能にする種類のより堅牢な NAS 評価の必要性を示すために、いくつかの最新の NAS 手順が 10 のタスク全体で一貫して実行されず、多くの破滅的な結果が得られることを示しています。
また、NAS 文献で推進されているいくつかの最近の仮説が多様なタスクを保持しているかどうかをテストすることにより、NAS-Bench-360 とそれに関連する事前計算された結果が将来の科学的発見をどのように可能にするかを示します。
NAS-Bench-360 は https://nb360.ml.cmu.edu でホストされています。

要約(オリジナル)

Most existing neural architecture search (NAS) benchmarks and algorithms prioritize well-studied tasks, e.g. image classification on CIFAR or ImageNet. This makes the performance of NAS approaches in more diverse areas poorly understood. In this paper, we present NAS-Bench-360, a benchmark suite to evaluate methods on domains beyond those traditionally studied in architecture search, and use it to address the following question: do state-of-the-art NAS methods perform well on diverse tasks? To construct the benchmark, we curate ten tasks spanning a diverse array of application domains, dataset sizes, problem dimensionalities, and learning objectives. Each task is carefully chosen to interoperate with modern CNN-based search methods while possibly being far-afield from its original development domain. To speed up and reduce the cost of NAS research, for two of the tasks we release the precomputed performance of 15,625 architectures comprising a standard CNN search space. Experimentally, we show the need for more robust NAS evaluation of the kind NAS-Bench-360 enables by showing that several modern NAS procedures perform inconsistently across the ten tasks, with many catastrophically poor results. We also demonstrate how NAS-Bench-360 and its associated precomputed results will enable future scientific discoveries by testing whether several recent hypotheses promoted in the NAS literature hold on diverse tasks. NAS-Bench-360 is hosted at https://nb360.ml.cmu.edu.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google