Vision Mamba: A Comprehensive Survey and Taxonomy

要約

状態空間モデル (SSM) は、動的システムの動作を記述および分析するために使用される数学モデルです。
このモデルは、制御理論、信号処理、経済学、機械学習などのいくつかの分野で数多くの応用が実証されています。
深層学習の分野では、時系列分析、自然言語処理 (NLP)、ビデオ理解などのシーケンス データを処理するために状態空間モデルが使用されます。
シーケンス データを状態空間にマッピングすることにより、データ内の長期的な依存関係をより適切に捉えることができます。
特に、最新の SSM は、線形時間計算量を維持しながら、NLP、特に長いシーケンス モデリングにおいて強力な表現能力を示しています。
特に、最新の状態空間モデルに基づいて、Mamba は時変パラメーターを SSM にマージし、効率的なトレーニングと推論のためのハードウェア対応アルゴリズムを定式化します。
Mamba は、その優れた効率性と強力な長期依存関係モデリング機能を考慮すると、Transformer を上回る可能性のある新しい AI アーキテクチャになることが期待されています。
最近では、Mamba を自然言語領域から視覚領域に拡張することにより、一般視覚、マルチモーダル、医用画像解析、リモートセンシング画像解析など、さまざまな分野での Mamba の可能性を研究する試みが数多く行われています。
視覚領域で Mamba を完全に理解するために、私たちは包括的な調査を実施し、分類研究を提示します。
この調査では、さまざまなビジュアル タスクやデータ タイプへの Mamba のアプリケーションに焦点を当て、その前任者、最近の進歩、および幅広い領域への広範な影響について議論します。
Mamba は現在上昇傾向にあるため、新しい発見があれば積極的にお知らせください。Mamba に関する新しい進捗状況はタイムリーにこの調査に含まれ、https://github.com/lx6c78 の Mamba プロジェクトで更新されます。
/Vision-Mamba-包括的な調査と分類法。

要約(オリジナル)

State Space Model (SSM) is a mathematical model used to describe and analyze the behavior of dynamic systems. This model has witnessed numerous applications in several fields, including control theory, signal processing, economics and machine learning. In the field of deep learning, state space models are used to process sequence data, such as time series analysis, natural language processing (NLP) and video understanding. By mapping sequence data to state space, long-term dependencies in the data can be better captured. In particular, modern SSMs have shown strong representational capabilities in NLP, especially in long sequence modeling, while maintaining linear time complexity. Notably, based on the latest state-space models, Mamba merges time-varying parameters into SSMs and formulates a hardware-aware algorithm for efficient training and inference. Given its impressive efficiency and strong long-range dependency modeling capability, Mamba is expected to become a new AI architecture that may outperform Transformer. Recently, a number of works have attempted to study the potential of Mamba in various fields, such as general vision, multi-modal, medical image analysis and remote sensing image analysis, by extending Mamba from natural language domain to visual domain. To fully understand Mamba in the visual domain, we conduct a comprehensive survey and present a taxonomy study. This survey focuses on Mamba’s application to a variety of visual tasks and data types, and discusses its predecessors, recent advances and far-reaching impact on a wide range of domains. Since Mamba is now on an upward trend, please actively notice us if you have new findings, and new progress on Mamba will be included in this survey in a timely manner and updated on the Mamba project at https://github.com/lx6c78/Vision-Mamba-A-Comprehensive-Survey-and-Taxonomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google