Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars

要約

単純な構成要素から神経アーキテクチャを発見することは、神経アーキテクチャ探索（NAS）の長年の目標である。階層的な検索空間はこの目標に向けた有望なステップであるが、統一的な検索空間設計の枠組みがなく、一般的にアーキテクチャの一部の限られた側面しか検索できない。本研究では、文脈自由文法に基づく統一的な検索空間設計の枠組みを導入し、文献にある一般的な空間よりも100桁以上大きい表現力の高い階層的検索空間を自然かつコンパクトに生成することができる。また、文脈自由文法に基づく検索空間設計のフレームワークにより、表現力豊かな階層的検索空間を自然かつコンパクトに生成することができ、文献にある一般的な検索空間よりも100桁以上大きい検索空間を実現する。さらに、このような巨大な空間を効率的に探索するために、ベイズ最適化探索戦略のための効率的な階層的カーネル設計を提案する。本論文では、検索空間設計フレームワークの汎用性を実証し、本検索戦略が既存のNASアプローチより優れていることを示す。コードは https://github.com/automl/hierarchical_nas_construction で公開されています。

要約(オリジナル)

The discovery of neural architectures from simple building blocks is a long-standing goal of Neural Architecture Search (NAS). Hierarchical search spaces are a promising step towards this goal but lack a unifying search space design framework and typically only search over some limited aspect of architectures. In this work, we introduce a unifying search space design framework based on context-free grammars that can naturally and compactly generate expressive hierarchical search spaces that are 100s of orders of magnitude larger than common spaces from the literature. By enhancing and using their properties, we effectively enable search over the complete architecture and can foster regularity. Further, we propose an efficient hierarchical kernel design for a Bayesian Optimization search strategy to efficiently search over such huge spaces. We demonstrate the versatility of our search space design framework and show that our search strategy can be superior to existing NAS approaches. Code is available at https://github.com/automl/hierarchical_nas_construction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL