要約
私たちは、一般的な視覚認識用に設計された単純な非階層状態空間モデル (SSM) である PlainMamba を紹介します。
最近の Mamba モデルは、SSM がシーケンシャル データに関して他のアーキテクチャとどのように高い競争力を発揮できるかを示しており、それを画像に適用する最初の試みが行われています。
この論文では、Mamba の選択的スキャン プロセスを視覚領域にさらに適応させ、(i) スキャン内のトークンの隣接性を確保することで空間的連続性を向上させる連続 2D スキャン プロセスによって、2 次元画像から特徴を学習する機能を強化します。
(ii) 方向を意識した更新により、方向情報をエンコードすることでモデルがトークンの空間関係を識別できるようになります。
私たちのアーキテクチャは使いやすく、拡張しやすいように設計されており、同一の PlainMamba ブロックを積み重ねることによって形成され、その結果、すべての層にわたって一定の幅を持つモデルが得られます。
特別なトークンの必要性がなくなることで、アーキテクチャがさらに簡素化されます。
私たちはさまざまな視覚認識タスクで PlainMamba を評価し、以前の非階層モデルと比較してパフォーマンス向上を達成し、階層型代替モデルと競合します。
特に高解像度の入力を必要とするタスクの場合、PlainMamba は高いパフォーマンスを維持しながら、必要なコンピューティングを大幅に削減します。
コードとモデルは、https://github.com/ChenhongyiYang/PlainMamba から入手できます。
要約(オリジナル)
We present PlainMamba: a simple non-hierarchical state space model (SSM) designed for general visual recognition. The recent Mamba model has shown how SSMs can be highly competitive with other architectures on sequential data and initial attempts have been made to apply it to images. In this paper, we further adapt the selective scanning process of Mamba to the visual domain, enhancing its ability to learn features from two-dimensional images by (i) a continuous 2D scanning process that improves spatial continuity by ensuring adjacency of tokens in the scanning sequence, and (ii) direction-aware updating which enables the model to discern the spatial relations of tokens by encoding directional information. Our architecture is designed to be easy to use and easy to scale, formed by stacking identical PlainMamba blocks, resulting in a model with constant width throughout all layers. The architecture is further simplified by removing the need for special tokens. We evaluate PlainMamba on a variety of visual recognition tasks, achieving performance gains over previous non-hierarchical models and is competitive with hierarchical alternatives. For tasks requiring high-resolution inputs, in particular, PlainMamba requires much less computing while maintaining high performance. Code and models are available at: https://github.com/ChenhongyiYang/PlainMamba .
arxiv情報
| 著者 | Chenhongyi Yang,Zehui Chen,Miguel Espinosa,Linus Ericsson,Zhenyu Wang,Jiaming Liu,Elliot J. Crowley |
| 発行日 | 2024-08-15 14:30:02+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google