RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization

要約

機能の再利用は、軽量の畳み込みニューラル ネットワーク (CNN) 設計における重要な手法です。
現在の方法では通常、連結演算子を使用して、他のレイヤーの特徴マップを再利用することにより、大きなチャネル数を安価に維持します (したがって、ネットワーク容量を大きくします)。
連結にはパラメーターと FLOP がありませんが、ハードウェア デバイスでの計算コストは​​無視できません。
これに対処するために、このペーパーでは、構造の再パラメータ化手法を介して機能の再利用を実現するための新しい視点を提供します。
連結演算子を使用する代わりに、再パラメーター化による暗黙的な機能の再利用のために、新しいハードウェア効率の高い RepGhost モジュールが提案されています。
RepGhost モジュールに基づいて、効率的な RepGhost ボトルネックと RepGhostNet を開発します。
ImageNet および COCO ベンチマークでの実験は、提案された RepGhostNet がモバイル デバイスでの GhostNet および MobileNetV3 よりもはるかに効果的かつ効率的であることを示しています。
特に、当社の RepGhostNet は、GhostNet 0.5x を 2.5% 上回っており、ImageNet データセットのトップ 1 精度は、より少ないパラメーターと ARM ベースの携帯電話に匹敵するレイテンシーを備えています。

要約(オリジナル)

Feature reuse has been a key technique in light-weight convolutional neural networks (CNNs) design. Current methods usually utilize a concatenation operator to keep large channel numbers cheaply (thus large network capacity) by reusing feature maps from other layers. Although concatenation is parameters- and FLOPs-free, its computational cost on hardware devices is non-negligible. To address this, this paper provides a new perspective to realize feature reuse via structural re-parameterization technique. A novel hardware-efficient RepGhost module is proposed for implicit feature reuse via re-parameterization, instead of using concatenation operator. Based on the RepGhost module, we develop our efficient RepGhost bottleneck and RepGhostNet. Experiments on ImageNet and COCO benchmarks demonstrate that the proposed RepGhostNet is much more effective and efficient than GhostNet and MobileNetV3 on mobile devices. Specially, our RepGhostNet surpasses GhostNet 0.5x by 2.5% Top-1 accuracy on ImageNet dataset with less parameters and comparable latency on an ARM-based mobile phone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google