Evolving Zero Cost Proxies For Neural Architecture Scoring

要約

ニューラル アーキテクチャ検索 (NAS) により、ニューラル ネットワーク (NN) の設計と展開における生産性が大幅に向上しました。
NAS は通常、複数のモデルを部分的または完全にトレーニングして評価するため、生産性の向上には多大な二酸化炭素排出量が伴います。
この高価なトレーニング ルーチンを軽減するために、ゼロ ショット/コスト プロキシは、初期化時に NN を分析してスコアを生成します。これは、真の精度と高い相関があります。
ゼロコスト プロキシは、現在、可能なアルゴリズム、データセット、およびニューラル アーキテクチャの設計空間について複数サイクルの経験的テストを実施する専門家によって設計されています。
これは生産性を低下させ、深層学習のユースケースが本質的に多様化するため、ゼロコストのプロキシ設計に向けた持続不可能なアプローチです。
さらに、既存のゼロコスト プロキシは、ニューラル アーキテクチャの設計空間全体で一般化できません。
この論文では、ニューラル アーキテクチャ スコアリングのためのゼロコスト プロキシの発見を自動化するための遺伝的プログラミング フレームワークを提案します。
私たちの方法論は、NASBench-201 と Network Design Spaces (NDS) のすべてのデータセットと検索スペースで最先端のスコア精度相関を与える、解釈可能で一般化可能なゼロコスト プロキシを効率的に発見します。
この調査は、ネットワーク アーキテクチャの設計空間、データセット、およびタスク全体で機能するゼロコスト プロキシを自動的に発見するという有望な方向性を示していると考えています。

要約(オリジナル)

Neural Architecture Search (NAS) has significantly improved productivity in the design and deployment of neural networks (NN). As NAS typically evaluates multiple models by training them partially or completely, the improved productivity comes at the cost of significant carbon footprint. To alleviate this expensive training routine, zero-shot/cost proxies analyze an NN at initialization to generate a score, which correlates highly with its true accuracy. Zero-cost proxies are currently designed by experts conducting multiple cycles of empirical testing on possible algorithms, data-sets, and neural architecture design spaces. This lowers productivity and is an unsustainable approach towards zero-cost proxy design as deep learning use-cases diversify in nature. Additionally, existing zero-cost proxies fail to generalize across neural architecture design spaces. In this paper, we propose a genetic programming framework to automate the discovery of zero-cost proxies for neural architecture scoring. Our methodology efficiently discovers an interpretable and generalizable zero-cost proxy that gives state of the art score-accuracy correlation on all data-sets and search spaces of NASBench-201 and Network Design Spaces (NDS). We believe that this research indicates a promising direction towards automatically discovering zero-cost proxies that can work across network architecture design spaces, data-sets, and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google