CMT: Convolutional Neural Networks Meet Vision Transformers

要約

ビジョントランスフォーマーは、画像内の長距離依存関係をキャプチャできるため、画像認識タスクにうまく適用されています。
ただし、トランスと既存の畳み込みニューラルネットワーク（CNN）の間には、パフォーマンスと計算コストの両方にまだギャップがあります。
この論文では、この問題に対処し、標準的な変圧器だけでなく、高性能の畳み込みモデルよりも優れた性能を発揮できるネットワークを開発することを目指しています。
トランスフォーマーを利用して長距離依存関係をキャプチャし、CNNを利用してローカル機能をモデル化することにより、新しいトランスフォーマーベースのハイブリッドネットワークを提案します。
さらに、CMTと呼ばれるモデルのファミリーを取得するためにスケーリングし、以前の畳み込みおよびトランスベースのモデルよりもはるかに優れた精度と効率を取得します。
特に、当社のCMT-Sは、ImageNetで83.5％のトップ1精度を達成し、FLOPでは既存のDeiTおよびEfficientNetよりもそれぞれ14倍および2倍小さくなっています。
提案されたCMT-Sは、CIFAR10（99.2％）、CIFAR100（91.7％）、Flowers（98.7％）、およびCOCO（44.3％mAP）などの他の挑戦的なビジョンデータセットでも一般化されており、計算コストは​​大幅に削減されます。

要約(オリジナル)

Vision transformers have been successfully applied to image recognition tasks due to their ability to capture long-range dependencies within an image. However, there are still gaps in both performance and computational cost between transformers and existing convolutional neural networks (CNNs). In this paper, we aim to address this issue and develop a network that can outperform not only the canonical transformers, but also the high-performance convolutional models. We propose a new transformer based hybrid network by taking advantage of transformers to capture long-range dependencies, and of CNNs to model local features. Furthermore, we scale it to obtain a family of models, called CMTs, obtaining much better accuracy and efficiency than previous convolution and transformer based models. In particular, our CMT-S achieves 83.5% top-1 accuracy on ImageNet, while being 14x and 2x smaller on FLOPs than the existing DeiT and EfficientNet, respectively. The proposed CMT-S also generalizes well on CIFAR10 (99.2%), CIFAR100 (91.7%), Flowers (98.7%), and other challenging vision datasets such as COCO (44.3% mAP), with considerably less computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google