Towards Discovering Neural Architectures from Scratch

要約

神経アーキテクチャをゼロから発見することは、神経アーキテクチャ探索(NAS)の長年の目標である。広い範囲の神経アーキテクチャを探索することで、これまで考慮されていなかったが性能の良いアーキテクチャの発見を促進することができる。本研究では、アーキテクチャを代数的に表現することで、ゼロからの神経アーキテクチャの発見に向けて大きな一歩を踏み出しました。この代数的な視点は、より一般的な探索空間の設計手法につながり、文献にある一般的な空間よりも100桁以上大きな探索空間をコンパクトに表現することができる。さらに、このような巨大な空間を効率的に探索するためのベイズ最適化戦略を提案し、我々の探索空間設計と探索戦略の両方が既存のベースラインよりも優れていることを実証する。我々は、この代数的NASアプローチをオープンソース化し、PyTorchとTensorFlowのAPIを提供します。

要約(オリジナル)

The discovery of neural architectures from scratch is the long-standing goal of Neural Architecture Search (NAS). Searching over a wide spectrum of neural architectures can facilitate the discovery of previously unconsidered but well-performing architectures. In this work, we take a large step towards discovering neural architectures from scratch by expressing architectures algebraically. This algebraic view leads to a more general method for designing search spaces, which allows us to compactly represent search spaces that are 100s of orders of magnitude larger than common spaces from the literature. Further, we propose a Bayesian Optimization strategy to efficiently search over such huge spaces, and demonstrate empirically that both our search space design and our search strategy can be superior to existing baselines. We open source our algebraic NAS approach and provide APIs for PyTorch and TensorFlow.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL