Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model

要約

最近、効率的なハードウェアを意識した設計を備えた状態空間モデル (SSM)、つまり Mamba は、長いシーケンスのモデリングに大きな可能性を示しています。
純粋に SSM に基づいて効率的で汎用的なビジョン バックボーンを構築することは、魅力的な方向性です。
ただし、視覚データの位置依存性と、視覚的な理解のためのグローバル コンテキストの要件により、SSM にとって視覚データを表現することは困難です。
この論文では、視覚表現学習を自己注意に依存する必要がないことを示し、位置埋め込みで画像シーケンスをマークし、双方向で視覚表現を圧縮する、双方向 Mamba ブロック (Vim) を備えた新しい汎用視覚バックボーンを提案します。
状態空間モデル。
ImageNet 分類、COCO オブジェクト検出、および ADE20k セマンティック セグメンテーション タスクにおいて、Vim は、DeiT のような確立されたビジョン トランスフォーマーと比較して高いパフォーマンスを実現すると同時に、計算​​効率とメモリ効率が大幅に向上していることも実証しています。
たとえば、解像度 1248$\times$1248 の画像の特徴を抽出するバッチ推論を実行する場合、Vim は DeiT より 2.8$\times$ 高速で、86.8% の GPU メモリを節約します。
この結果は、Vim が高解像度画像の Transformer スタイルの理解を実行する際の計算とメモリの制約を克服できること、およびビジョン基盤モデルの次世代バックボーンとなる大きな可能性を秘めていることを示しています。
コードは https://github.com/hustvl/Vim で入手できます。

要約(オリジナル)

Recently the state space models (SSMs) with efficient hardware-aware designs, i.e., Mamba, have shown great potential for long sequence modeling. Building efficient and generic vision backbones purely upon SSMs is an appealing direction. However, representing visual data is challenging for SSMs due to the position-sensitivity of visual data and the requirement of global context for visual understanding. In this paper, we show that the reliance of visual representation learning on self-attention is not necessary and propose a new generic vision backbone with bidirectional Mamba blocks (Vim), which marks the image sequences with position embeddings and compresses the visual representation with bidirectional state space models. On ImageNet classification, COCO object detection, and ADE20k semantic segmentation tasks, Vim achieves higher performance compared to well-established vision transformers like DeiT, while also demonstrating significantly improved computation & memory efficiency. For example, Vim is 2.8$\times$ faster than DeiT and saves 86.8% GPU memory when performing batch inference to extract features on images with a resolution of 1248$\times$1248. The results demonstrate that Vim is capable of overcoming the computation & memory constraints on performing Transformer-style understanding for high-resolution images and it has great potential to become the next-generation backbone for vision foundation models. Code is available at https://github.com/hustvl/Vim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google