Boosting Convolutional Neural Networks with Middle Spectrum Grouped Convolution

要約

タイトル：ミドルスペクトラムグループ畳み込みを利用した畳み込みニューラルネットワークの強化（Boosting Convolutional Neural Networks with Middle Spectrum Grouped Convolution）

要約：
– 本研究は、グループ畳み込みのメカニズムを使用した効率的なDCNNs（深い畳み込みニューラルネットワーク）のための、中間スペクトラムグループ畳み込み（MSGC）と呼ばれる新しいモジュールを提案する。
– MSGCは、チャネルの剪定と従来のグループ畳み込みの間の広い「中間スペクトラム」領域を探索する。
– チャネルの剪定と比較して、MSGCはグループメカニズムのために入力フィーチャーマップからほとんどの情報を保持することができる。
– グループ畳み込みと比較して、MSGCは、グループのトポロジーを構築するためのチャネル剪定のコアである学習性から利益を得るため、より良好なチャネルの分割を実現することができる。
– 提案されたモジュールは、グループごと、レイヤごと、サンプルごと、および注意ごとに沿って展開され、より強力で解釈可能な構造を明らかにすることができる。
– 結果として、提案されたモジュールは、一般的な画像認識のためのホストバックボーンの計算コストを削減する上でブースターの役割を果たし、さらに予測精度を向上させることができる。
– 例えば、ImageNetデータセットでの実験では、MSGCはResNet-18およびResNet-50のmultiply-accumulates（MACs）を半分に減らすことができ、Top-1の精度を1％以上向上させることができる。MACsの35％の削減で、MSGCはMobileNetV2バックボーンのTop-1の精度を向上させることができる。オブジェクト検出のMS COCOデータセットでは、同様の観察結果が示される。
– コードとトレーニングモデルは、https://github.com/hellozhuo/msgcで利用可能である。

要約(オリジナル)

This paper proposes a novel module called middle spectrum grouped convolution (MSGC) for efficient deep convolutional neural networks (DCNNs) with the mechanism of grouped convolution. It explores the broad ‘middle spectrum’ area between channel pruning and conventional grouped convolution. Compared with channel pruning, MSGC can retain most of the information from the input feature maps due to the group mechanism; compared with grouped convolution, MSGC benefits from the learnability, the core of channel pruning, for constructing its group topology, leading to better channel division. The middle spectrum area is unfolded along four dimensions: group-wise, layer-wise, sample-wise, and attention-wise, making it possible to reveal more powerful and interpretable structures. As a result, the proposed module acts as a booster that can reduce the computational cost of the host backbones for general image recognition with even improved predictive accuracy. For example, in the experiments on ImageNet dataset for image classification, MSGC can reduce the multiply-accumulates (MACs) of ResNet-18 and ResNet-50 by half but still increase the Top-1 accuracy by more than 1%. With 35% reduction of MACs, MSGC can also increase the Top-1 accuracy of the MobileNetV2 backbone. Results on MS COCO dataset for object detection show similar observations. Our code and trained models are available at https://github.com/hellozhuo/msgc.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI