Stacked BNAS: Rethinking Broad Convolutional Neural Network for Neural Architecture Search

要約

他のディープ スケーラブルなアーキテクチャ ベースの NAS アプローチとは異なり、Broad Neural Architecture Search (BNAS) は、驚くべき効率向上のための検索スペースとして、Broad Convolutional Neural Network (BCNN) と呼ばれる、畳み込みと拡張ブロックで構成される、広くスケーラブルなアーキテクチャを提案します。
BCNN は畳み込みブロックでセルのトポロジを再利用するため、BNAS は効率的な検索のために少数のセルを使用できます。
さらに、浅いトポロジで BCNN のパフォーマンスを向上させるために、マルチスケールの特徴融合と知識埋め込みが提案されています。
ただし、BNAS にはいくつかの欠点があります。1) 機能の融合と強化のための表現の多様性が不十分である、2) 人間の専門家による知識埋め込み設計に時間がかかる。
この論文では、検索空間が Stacked BCNN という名前の開発された広範なスケーラブルなアーキテクチャであり、BNAS よりも優れたパフォーマンスを持つ Stacked BNAS を提案します。
一方で、Stacked BCNN はミニ BCNN を基本ブロックとして扱い、包括的な表現を維持し、強力な特徴抽出機能を提供します。
マルチスケールの機能拡張では、各ミニ BCNN がディープ セルとブロード セルの出力を拡張セルに供給します。
マルチスケールの機能融合の場合、各ミニ BCNN は、ディープ、ブロード、およびエンハンスメント セルの出力を出力ノードに供給します。
一方、Knowledge Embedding Search (KES) は、適切な知識埋め込みを微分可能な方法で学習するために提案されています。
さらに、KES の基本ユニットは、可能なすべての候補知識埋め込みで構成される過剰にパラメータ化された知識埋め込みモジュールです。
実験結果は、1) CIFAR-10 と ImageNet の両方で Stacked BNAS が BNAS-v2 よりも優れたパフォーマンスを得る、2) 提案された KES アルゴリズムが満足のいくパフォーマンスで学習済みアーキテクチャのパラメーターを削減することに貢献する、3) Stacked BNAS が状態を提供することを示しています。
0.02 GPU 日という最先端の効率。

要約(オリジナル)

Different from other deep scalable architecture-based NAS approaches, Broad Neural Architecture Search (BNAS) proposes a broad scalable architecture which consists of convolution and enhancement blocks, dubbed Broad Convolutional Neural Network (BCNN), as the search space for amazing efficiency improvement. BCNN reuses the topologies of cells in the convolution block so that BNAS can employ few cells for efficient search. Moreover, multi-scale feature fusion and knowledge embedding are proposed to improve the performance of BCNN with shallow topology. However, BNAS suffers some drawbacks: 1) insufficient representation diversity for feature fusion and enhancement and 2) time consumption of knowledge embedding design by human experts. This paper proposes Stacked BNAS, whose search space is a developed broad scalable architecture named Stacked BCNN, with better performance than BNAS. On the one hand, Stacked BCNN treats mini BCNN as a basic block to preserve comprehensive representation and deliver powerful feature extraction ability. For multi-scale feature enhancement, each mini BCNN feeds the outputs of deep and broad cells to the enhancement cell. For multi-scale feature fusion, each mini BCNN feeds the outputs of deep, broad and enhancement cells to the output node. On the other hand, Knowledge Embedding Search (KES) is proposed to learn appropriate knowledge embeddings in a differentiable way. Moreover, the basic unit of KES is an over-parameterized knowledge embedding module that consists of all possible candidate knowledge embeddings. Experimental results show that 1) Stacked BNAS obtains better performance than BNAS-v2 on both CIFAR-10 and ImageNet, 2) the proposed KES algorithm contributes to reducing the parameters of the learned architecture with satisfactory performance, and 3) Stacked BNAS delivers a state-of-the-art efficiency of 0.02 GPU days.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google