EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications

要約

ますます高い精度を達成するために、通常、大規模で複雑なニューラルネットワークが開発されます。
このようなモデルは高い計算リソースを必要とするため、エッジデバイスに展開することはできません。
いくつかのアプリケーション分野で有用であるため、リソース効率の高い汎用ネットワークを構築することは非常に興味深いことです。
この作業では、CNNモデルとTransformerモデルの両方の長所を効果的に組み合わせ、新しい効率的なハイブリッドアーキテクチャEdgeNeXtを提案するよう努めています。
特にEdgeNeXtでは、入力テンソルを複数のチャネルグループに分割し、チャネル次元全体の自己注意とともに深度ワイズ畳み込みを利用して受容野を暗黙的に増加させ、マルチスケール機能をエンコードする分割深度ワイズ転置注意（SDTA）エンコーダーを導入します。
。
分類、検出、およびセグメンテーションのタスクに関する私たちの広範な実験は、提案されたアプローチのメリットを明らかにし、比較的低い計算要件で最先端の方法を上回っています。
1.3Mパラメータを備えたEdgeNeXtモデルは、ImageNet-1Kで71.2 \％のトップ1精度を達成し、FLOPを28 \％削減して絶対ゲイン2.2 \％でMobileViTを上回ります。
さらに、5.6Mパラメータを使用したEdgeNeXtモデルは、ImageNet-1Kで79.4 \％のトップ1精度を達成します。
コードとモデルはhttps://t.ly/_Vu9で公開されています。

要約(オリジナル)

In the pursuit of achieving ever-increasing accuracy, large and complex neural networks are usually developed. Such models demand high computational resources and therefore cannot be deployed on edge devices. It is of great interest to build resource-efficient general purpose networks due to their usefulness in several application areas. In this work, we strive to effectively combine the strengths of both CNN and Transformer models and propose a new efficient hybrid architecture EdgeNeXt. Specifically in EdgeNeXt, we introduce split depth-wise transpose attention (SDTA) encoder that splits input tensors into multiple channel groups and utilizes depth-wise convolution along with self-attention across channel dimensions to implicitly increase the receptive field and encode multi-scale features. Our extensive experiments on classification, detection and segmentation tasks, reveal the merits of the proposed approach, outperforming state-of-the-art methods with comparatively lower compute requirements. Our EdgeNeXt model with 1.3M parameters achieves 71.2\% top-1 accuracy on ImageNet-1K, outperforming MobileViT with an absolute gain of 2.2\% with 28\% reduction in FLOPs. Further, our EdgeNeXt model with 5.6M parameters achieves 79.4\% top-1 accuracy on ImageNet-1K. The code and models are publicly available at https://t.ly/_Vu9.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google