Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars

要約

単純な構成要素からニューラル アーキテクチャを発見することは、ニューラル アーキテクチャ検索 (NAS) の長年の目標です。
階層型検索スペースは、この目標に向けた有望な一歩ですが、統一的な検索スペース設計フレームワークがなく、通常はアーキテクチャの限られた側面のみを検索します。
この研究では、文献からの共通スペースよりも数百桁も大きい、表現力豊かな階層型検索スペースを自然かつコンパクトに生成できる、コンテキストフリー文法に基づく統一検索スペース設計フレームワークを紹介します。
それらのプロパティを強化して使用することで、アーキテクチャ全体にわたる検索が効果的に可能になり、規則性を促進できます。
さらに、このような巨大な空間を効率的に検索するためのベイジアン最適化検索戦略のための効率的な階層カーネル設計を提案します。
私たちは、検索スペース設計フレームワークの多用途性を実証し、検索戦略が既存の NAS アプローチよりも優れていることを示します。
コードは https://github.com/automl/hierarchical_nas_construction で入手できます。

要約(オリジナル)

The discovery of neural architectures from simple building blocks is a long-standing goal of Neural Architecture Search (NAS). Hierarchical search spaces are a promising step towards this goal but lack a unifying search space design framework and typically only search over some limited aspect of architectures. In this work, we introduce a unifying search space design framework based on context-free grammars that can naturally and compactly generate expressive hierarchical search spaces that are 100s of orders of magnitude larger than common spaces from the literature. By enhancing and using their properties, we effectively enable search over the complete architecture and can foster regularity. Further, we propose an efficient hierarchical kernel design for a Bayesian Optimization search strategy to efficiently search over such huge spaces. We demonstrate the versatility of our search space design framework and show that our search strategy can be superior to existing NAS approaches. Code is available at https://github.com/automl/hierarchical_nas_construction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google