Theoretical Foundations of Deep Selective State-Space Models

要約

S4のような構造化状態空間モデル（SSM）は、Guらの代表的な研究に端を発し、逐次データをモデル化するための効果的なアプローチとして人気を集めている。ディープSSMは、注意ベースの変換器と比較して、学習と推論のコストを削減しながら、多様な領域で卓越した性能を示している。最近の開発により、SSMを駆動する線形再帰が入力と隠れ状態間の乗法的相互作用を可能にする場合（例えばGateLoop、Mamba、GLA）、結果として得られるアーキテクチャは、10億パラメータのスケールで、テキストで訓練された注意力の基礎モデルを精度と効率の両方で凌駕できることが示された。本論文では、ラフ・パス理論（Rough Path Theory）のツールを用いて、この最近の発見に理論的根拠を与える。ランダムな線形回帰が単純な入力制御遷移（選択性メカニズム）を備えている場合、隠れた状態は、入力のシグネチャと呼ばれる強力な数学的オブジェクトの低次元投影であることが証明できる。我々の理論は、Mambaのような最新の選択的状態空間モデルの成功を動機づけるだけでなく、将来のSSMの表現力を理解するための強固な枠組みを提供する。

要約(オリジナル)

Structured state-space models (SSMs) such as S4, stemming from the seminal work of Gu et al., are gaining popularity as effective approaches for modeling sequential data. Deep SSMs demonstrate outstanding performance across a diverse set of domains, at a reduced training and inference cost compared to attention-based transformers. Recent developments show that if the linear recurrence powering SSMs allows for multiplicative interactions between inputs and hidden states (e.g. GateLoop, Mamba, GLA), then the resulting architecture can surpass in both in accuracy and efficiency attention-powered foundation models trained on text, at scales of billion parameters. In this paper, we give theoretical grounding to this recent finding using tools from Rough Path Theory: we show that when random linear recurrences are equipped with simple input-controlled transitions (selectivity mechanism), then the hidden state is provably a low-dimensional projection of a powerful mathematical object called the signature of the input — capturing non-linear interactions between tokens at distinct timescales. Our theory not only motivates the success of modern selective state-space models such as Mamba but also provides a solid framework to understand the expressive power of future SSM variants.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL