Stacked BNAS: Rethinking Broad Convolutional Neural Network for Neural Architecture Search

要約

他の深くスケーラブルなアーキテクチャベースのNASアプローチとは異なり、Broad Neural Architecture Search（BNAS）は、畳み込みブロックと拡張ブロックで構成される幅広いものを提案します。これは、驚くべき効率向上のための検索スペースとしてBroad Convolutional Neural Network（BCNN）と呼ばれます。
BCNNは、畳み込みブロック内のセルのトポロジを再利用するため、BNASは効率的な検索のために少数のセルを使用できます。
さらに、浅いトポロジーでBCNNのパフォーマンスを改善するために、マルチスケールの機能融合と知識の埋め込みが提案されています。
ただし、BNASにはいくつかの欠点があります。1）機能の融合と拡張のための表現の多様性が不十分であり、2）人間の専門家による知識埋め込み設計に時間がかかる。
この論文では、検索スペースがStacked BCNNという名前の開発された幅広いスケーラブルなアーキテクチャであり、BNASよりも優れたパフォーマンスを備えたStackedBNASを提案します。
一方で、Stacked BCNNは、ミニBCNNを基本ブロックとして扱い、包括的な表現を維持し、強力な特徴抽出機能を提供します。
一方、適切な知識の埋め込みを学習するために、知識埋め込み検索（KES）を提案します。
実験結果は、1）スタックBNASがBNASよりも優れたパフォーマンスを実現し、2）KESが学習アーキテクチャのパラメータを十分なパフォーマンスで削減することに貢献し、3）スタックBNASが0.02GPU日の最先端の効率を提供することを示しています。

要約(オリジナル)

Different from other deep scalable architecture based NAS approaches, Broad Neural Architecture Search (BNAS) proposes a broad one which consists of convolution and enhancement blocks, dubbed Broad Convolutional Neural Network (BCNN) as search space for amazing efficiency improvement. BCNN reuses the topologies of cells in convolution block, so that BNAS can employ few cells for efficient search. Moreover, multi-scale feature fusion and knowledge embedding are proposed to improve the performance of BCNN with shallow topology. However, BNAS suffers some drawbacks: 1) insufficient representation diversity for feature fusion and enhancement, and 2) time consuming of knowledge embedding design by human expert. In this paper, we propose Stacked BNAS whose search space is a developed broad scalable architecture named Stacked BCNN, with better performance than BNAS. On the one hand, Stacked BCNN treats mini-BCNN as the basic block to preserve comprehensive representation and deliver powerful feature extraction ability. On the other hand, we propose Knowledge Embedding Search (KES) to learn appropriate knowledge embeddings. Experimental results show that 1) Stacked BNAS obtains better performance than BNAS, 2) KES contributes to reduce the parameters of learned architecture with satisfactory performance, and 3) Stacked BNAS delivers state-of-the-art efficiency of 0.02 GPU days.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google