RepViT: Revisiting Mobile CNN From ViT Perspective

要約

最近、軽量のビジョン トランスフォーマー (ViT) は、リソースに制約のあるモバイル デバイス上で軽量の畳み込みニューラル ネットワーク (CNN) と比較して、優れたパフォーマンスと低い遅延を実証しています。
この改善は通常、モデルがグローバルな表現を学習できるようにするマルチヘッド セルフ アテンション モジュールによるものです。
ただし、軽量 ViT と軽量 CNN の間のアーキテクチャ上の差異は十分に調査されていません。
この研究では、軽量 CNN の効率的な設計を再考し、モバイル デバイス向けの CNN の可能性を強調します。
私たちは、軽量 ViT の効率的なアーキテクチャの選択を統合することにより、標準の軽量 CNN、特に MobileNetV3 のモバイル フレンドリー性を段階的に強化します。
これは最終的に、純粋な軽量 CNN の新しいファミリー、つまり RepViT になります。
広範な実験により、RepViT は既存の最先端の軽量 ViT を上回り、さまざまな視覚タスクにおいて良好な遅延を示すことが示されています。
ImageNet では、RepViT は iPhone 12 で 1ms 遅延で 80\% 以上のトップ 1 精度を達成しました。これは、私たちの知る限り、軽量モデルとしては初めてのことです。
当社の最大のモデルである RepViT-M2.3 は、わずか 2.3ms の遅延で 83.7% の精度を実現します。
コードとトレーニングされたモデルは \url{https://github.com/jameslahm/RepViT} で入手できます。

要約(オリジナル)

Recently, lightweight Vision Transformers (ViTs) demonstrate superior performance and lower latency compared with lightweight Convolutional Neural Networks (CNNs) on resource-constrained mobile devices. This improvement is usually attributed to the multi-head self-attention module, which enables the model to learn global representations. However, the architectural disparities between lightweight ViTs and lightweight CNNs have not been adequately examined. In this study, we revisit the efficient design of lightweight CNNs and emphasize their potential for mobile devices. We incrementally enhance the mobile-friendliness of a standard lightweight CNN, specifically MobileNetV3, by integrating the efficient architectural choices of lightweight ViTs. This ends up with a new family of pure lightweight CNNs, namely RepViT. Extensive experiments show that RepViT outperforms existing state-of-the-art lightweight ViTs and exhibits favorable latency in various vision tasks. On ImageNet, RepViT achieves over 80\% top-1 accuracy with 1ms latency on an iPhone 12, which is the first time for a lightweight model, to the best of our knowledge. Our largest model, RepViT-M2.3, obtains 83.7\% accuracy with only 2.3ms latency. The code and trained models are available at \url{https://github.com/jameslahm/RepViT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google