einspace: Searching for Neural Architectures from Fundamental Operations

要約

ニューラル アーキテクチャ検索 (NAS) は、特定のタスクに対して高性能のネットワークを見つけます。
しかし、NAS の結果はかなり平凡です。
彼らはしませんでした。
畳み込み構造からトランスフォーマーへの移行を生み出します。
これは特に、NAS の検索スペースがそのような変換をアプリオリに含められるほど多様ではないことが多いためです。
その代わりに、NAS が基本的な設計の変更により大きな可能性を提供するには、より基本的な操作から構築された新しい表現力豊かな検索スペース設計が必要です。
この目的を達成するために、パラメータ化された確率的文脈自由文法に基づく検索空間である einspace を導入します。
私たちのスペースは多用途であり、さまざまなサイズと複雑さのアーキテクチャをサポートすると同時に、畳み込みやアテンション コンポーネントなどのモデル化を可能にする多様なネットワーク操作も含まれています。
既存の競合アーキテクチャが多数含まれており、新しいアーキテクチャを柔軟に発見できます。
この検索スペースを使用して、さまざまな Unseen NAS データセット上の既存のアーキテクチャの改善だけでなく、新しいアーキテクチャを見つけるための実験を実行します。
私たちは、競争力のあるアーキテクチャがゼロから検索することで得られることを示し、強力なベースラインを使用して検索を開始すると、一貫して大幅な改善が見られます。
私たちは、この取り組みが、検索スペースの表現力と戦略的な検索初期化が重要な役割を果たす変革的な NAS パラダイムに向けた重要な進歩であると信じています。

要約(オリジナル)

Neural architecture search (NAS) finds high performing networks for a given task. Yet the results of NAS are fairly prosaic; they did not e.g. create a shift from convolutional structures to transformers. This is not least because the search spaces in NAS often aren’t diverse enough to include such transformations a priori. Instead, for NAS to provide greater potential for fundamental design shifts, we need a novel expressive search space design which is built from more fundamental operations. To this end, we introduce einspace, a search space based on a parameterised probabilistic context-free grammar. Our space is versatile, supporting architectures of various sizes and complexities, while also containing diverse network operations which allow it to model convolutions, attention components and more. It contains many existing competitive architectures, and provides flexibility for discovering new ones. Using this search space, we perform experiments to find novel architectures as well as improvements on existing ones on the diverse Unseen NAS datasets. We show that competitive architectures can be obtained by searching from scratch, and we consistently find large improvements when initialising the search with strong baselines. We believe that this work is an important advancement towards a transformative NAS paradigm where search space expressivity and strategic search initialisation play key roles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google