Stacked BNAS: Rethinking Broad Convolutional Neural Network for Neural Architecture Search

要約

他の深くスケーラブルなアーキテクチャベースのNASアプローチとは異なり、Broad Neural Architecture Search（BNAS）は、驚くべき効率改善のための検索スペースとして、Broad Convolutional Neural Network（BCNN）と呼ばれる畳み込みブロックと拡張ブロックで構成される幅広いスケーラブルアーキテクチャを提案します。
BCNNは、畳み込みブロック内のセルのトポロジを再利用するため、BNASは効率的な検索のために少数のセルを使用できます。
さらに、浅いトポロジーでBCNNのパフォーマンスを改善するために、マルチスケールの機能融合と知識の埋め込みが提案されています。
ただし、BNASにはいくつかの欠点があります。1）機能の融合と拡張のための表現の多様性が不十分であり、2）人間の専門家による知識埋め込み設計の時間消費です。
このホワイトペーパーでは、Stacked BNASを提案します。この検索スペースは、Stacked BCNNという名前の開発された幅広いスケーラブルなアーキテクチャであり、BNASよりも優れたパフォーマンスを備えています。
一方で、Stacked BCNNは、ミニBCNNを基本ブロックとして扱い、包括的な表現を維持し、強力な特徴抽出機能を提供します。
マルチスケール機能拡張の場合、各ミニBCNNは、ディープセルとブロードセルの出力を拡張セルに供給します。
マルチスケール機能融合の場合、各ミニBCNNは、深く、広い、拡張セルの出力を出力ノードに供給します。
一方、知識埋め込み検索（KES）は、適切な知識埋め込みを微分可能な方法で学習するために提案されています。
さらに、KESの基本単位は、すべての可能な候補知識埋め込みで構成される、パラメーター化された知識埋め込みモジュールです。
実験結果は、1）スタックされたBNASがCIFAR-10とImageNetの両方でBNAS-v2よりも優れたパフォーマンスを得る、2）提案されたKESアルゴリズムが満足のいくパフォーマンスで学習されたアーキテクチャのパラメータを減らすことに貢献する、3）スタックされたBNASが状態を提供することを示しています
-0.02GPU日の最先端の効率。

要約(オリジナル)

Different from other deep scalable architecture-based NAS approaches, Broad Neural Architecture Search (BNAS) proposes a broad scalable architecture which consists of convolution and enhancement blocks, dubbed Broad Convolutional Neural Network (BCNN), as the search space for amazing efficiency improvement. BCNN reuses the topologies of cells in the convolution block so that BNAS can employ few cells for efficient search. Moreover, multi-scale feature fusion and knowledge embedding are proposed to improve the performance of BCNN with shallow topology. However, BNAS suffers some drawbacks: 1) insufficient representation diversity for feature fusion and enhancement and 2) time consumption of knowledge embedding design by human experts. This paper proposes Stacked BNAS, whose search space is a developed broad scalable architecture named Stacked BCNN, with better performance than BNAS. On the one hand, Stacked BCNN treats mini BCNN as a basic block to preserve comprehensive representation and deliver powerful feature extraction ability. For multi-scale feature enhancement, each mini BCNN feeds the outputs of deep and broad cells to the enhancement cell. For multi-scale feature fusion, each mini BCNN feeds the outputs of deep, broad and enhancement cells to the output node. On the other hand, Knowledge Embedding Search (KES) is proposed to learn appropriate knowledge embeddings in a differentiable way. Moreover, the basic unit of KES is an over-parameterized knowledge embedding module that consists of all possible candidate knowledge embeddings. Experimental results show that 1) Stacked BNAS obtains better performance than BNAS-v2 on both CIFAR-10 and ImageNet, 2) the proposed KES algorithm contributes to reducing the parameters of the learned architecture with satisfactory performance, and 3) Stacked BNAS delivers a state-of-the-art efficiency of 0.02 GPU days.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google