From S4 to Mamba: A Comprehensive Survey on Structured State Space Models

要約

シーケンスモデリングの最近の進歩により、再発性ニューラルネットワーク（RNN）およびトランスの効率的な代替品として、構造化状態空間モデル（SSM）が出現し、長距離依存モデリングと計算効率の課題に対処しています。
RNNは消失した勾配と連続的な非効率性に苦しんでおり、トランスは二次の複雑さに直面していますが、SSMSは構造化された再発と状態空間表現を活用して、線形またはほぼ線形の複雑さで優れた長シーケンス処理を実現します。
この調査では、SSMSの包括的なレビューを提供し、基礎S4モデルからMamba、簡素化された構造化状態空間シーケンスモデル（S5）、Jambaなどの後継者への進化を追跡し、計算効率、メモリ最適化、推論速度の改善を強調します。
SSMは、自然言語処理（NLP）、音声認識、ビジョン、時系列予測などのドメイン全体の従来のシーケンスモデルを比較することにより、計算オーバーヘッドを減らしながら長距離依存関係を処理する際の利点を示します。
その可能性にもかかわらず、トレーニングの最適化、ハイブリッドモデリング、解釈可能性などの分野には課題が残っています。
この調査は、研究者と実践者のための構造化されたガイドとして機能し、AIにおけるSSMベースのアーキテクチャの進歩、トレードオフ、および将来の方向性を詳述し、深い学習を行います。

要約(オリジナル)

Recent advancements in sequence modeling have led to the emergence of Structured State Space Models (SSMs) as an efficient alternative to Recurrent Neural Networks (RNNs) and Transformers, addressing challenges in long-range dependency modeling and computational efficiency. While RNNs suffer from vanishing gradients and sequential inefficiencies, and Transformers face quadratic complexity, SSMs leverage structured recurrence and state-space representations to achieve superior long-sequence processing with linear or near-linear complexity. This survey provides a comprehensive review of SSMs, tracing their evolution from the foundational S4 model to its successors like Mamba, Simplified Structured State Space Sequence Model (S5), and Jamba, highlighting their improvements in computational efficiency, memory optimization, and inference speed. By comparing SSMs with traditional sequence models across domains such as natural language processing (NLP), speech recognition, vision, and time-series forecasting, we demonstrate their advantages in handling long-range dependencies while reducing computational overhead. Despite their potential, challenges remain in areas such as training optimization, hybrid modeling, and interpretability. This survey serves as a structured guide for researchers and practitioners, detailing the advancements, trade-offs, and future directions of SSM-based architectures in AI and deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google