RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization

要約

特徴量の再利用は、軽量畳み込みニューラルネットワーク（CNN）のアーキテクチャ設計における重要な技術である。現在の手法では、他の層から特徴マップを再利用することで、大きなチャネル数を安価に保持する（つまり、大きなネットワーク容量を確保する）ために、通常、連結演算子を利用する。連結演算はパラメータやFLOPsを必要としないが、ハードウェアデバイス上での計算コストは無視できない。この問題に対処するため、本論文では、連結の代わりに暗黙的かつより効率的に特徴再利用を実現する新たな視点を提供する。連結演算子を使用する代わりに、再パラメータ化によって暗黙的な特徴再利用を実現する、新しいハードウェア効率の高いRepGhostモジュールを提案する。RepGhostモジュールを基に、効率的なRepGhostボトルネックとRepGhostNetを開発する。ImageNetとCOCOベンチマークを用いた実験により、我々のRepGhostNetがモバイルデバイス上でGhostNetやMobileNetV3よりもはるかに効果的かつ効率的であることが実証された。特に、我々のRepGhostNetは、ARMベースのモバイルデバイス上で、より少ないパラメータと同程度のレイテンシで、ImageNetデータセットにおいて、GhostNetの0.5倍の2.5%のTop-1精度を上回っています。コードとモデルの重みはhttps://github.com/ChengpengChen/RepGhost。

要約(オリジナル)

Feature reuse has been a key technique in light-weight convolutional neural networks (CNNs) architecture design. Current methods usually utilize a concatenation operator to keep large channel numbers cheaply (thus large network capacity) by reusing feature maps from other layers. Although concatenation is parameters- and FLOPs-free, its computational cost on hardware devices is non-negligible. To address this, this paper provides a new perspective to realize feature reuse implicitly and more efficiently instead of concatenation. A novel hardware-efficient RepGhost module is proposed for implicit feature reuse via reparameterization, instead of using concatenation operator. Based on the RepGhost module, we develop our efficient RepGhost bottleneck and RepGhostNet. Experiments on ImageNet and COCO benchmarks demonstrate that our RepGhostNet is much more effective and efficient than GhostNet and MobileNetV3 on mobile devices. Specially, our RepGhostNet surpasses GhostNet 0.5x by 2.5% Top-1 accuracy on ImageNet dataset with less parameters and comparable latency on an ARM-based mobile device. Code and model weights are available at https://github.com/ChengpengChen/RepGhost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL