Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance

要約

タイトル：Neural Architecture Searchベンチマークは、適切に設計されているのか？操作の重要性に深く焦点を当てた検討

要約：

– Neural Architecture Search（NAS）ベンチマークは、数千個のトレーニングされたニューラルネットワークのメタ情報を提供することで、NAS方法の開発と比較能力を大幅に向上させる一方、計算オーバーヘッドを大幅に削減します。
– しかしながら、表形式のベンチマークには、公平な比較を妨げるいくつかの欠点があり、信頼性の低い結果を提供する可能性があります
– この研究では、広く使われているNAS-Bench-101、NAS-Bench-201、TransNAS-Bench-101ベンチマークについて、一般的な性能と、異なる操作が生成されたアーキテクチャの性能にどのように影響するかの実証的な分析を実施した。
– 性能範囲の上限に近いアーキテクチャを生成するために、操作プールのサブセットのみが必要であることがわかった。
– また、性能分布は負の偏りを持っており、上限範囲にアーキテクチャがよく集中している。
– 畳み込み層がアーキテクチャの性能に最も大きな影響を与えることが一貫してわかった。
– さらに、この研究では、NAS-Bench-201、ImageNet16-120、TransNAS-Bench-101で直接検索することが、CIFAR-10だけで検索するよりも信頼性の高い結果を生み出すことを示している。
– この研究により、将来のベンチマーク評価と設計のための提言も行われた。また、使用されたコードはhttps://github.com/VascoLopes/NAS-Benchmark-Evaluationで入手可能である。

要約(オリジナル)

Neural Architecture Search (NAS) benchmarks significantly improved the capability of developing and comparing NAS methods while at the same time drastically reduced the computational overhead by providing meta-information about thousands of trained neural networks. However, tabular benchmarks have several drawbacks that can hinder fair comparisons and provide unreliable results. These usually focus on providing a small pool of operations in heavily constrained search spaces — usually cell-based neural networks with pre-defined outer-skeletons. In this work, we conducted an empirical analysis of the widely used NAS-Bench-101, NAS-Bench-201 and TransNAS-Bench-101 benchmarks in terms of their generability and how different operations influence the performance of the generated architectures. We found that only a subset of the operation pool is required to generate architectures close to the upper-bound of the performance range. Also, the performance distribution is negatively skewed, having a higher density of architectures in the upper-bound range. We consistently found convolution layers to have the highest impact on the architecture’s performance, and that specific combination of operations favors top-scoring architectures. These findings shed insights on the correct evaluation and comparison of NAS methods using NAS benchmarks, showing that directly searching on NAS-Bench-201, ImageNet16-120 and TransNAS-Bench-101 produces more reliable results than searching only on CIFAR-10. Furthermore, with this work we provide suggestions for future benchmark evaluations and design. The code used to conduct the evaluations is available at https://github.com/VascoLopes/NAS-Benchmark-Evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI