Oscillatory State-Space Models

要約

長いシーケンスで効率的に学習するために、線形振動状態空間モデル（Linoss）を提案します。
生物学的ニューラルネットワークの皮質ダイナミクスに触発された私たちは、強制高調波発振器のシステムに基づいて提案されたリノスモデルを基にしています。
高速連想並列スキャンを使用して時間の経過とともに統合された安定した離散化により、提案された状態空間モデルが得られます。
Linossは、非陰性の対角状態マトリックスのみを必要とする安定したダイナミクスを生成することを証明します。
これは、制限的なパラメーター化に大きく依存している多くの以前の状態空間モデルとはまったく対照的です。
さらに、Linossが普遍的であることを厳密に示しています。つまり、時間変化の機能間の連続的および因果関係者マッピングを望ましい精度に近似できることを示しています。
さらに、Linossの暗黙的に優れた明示的な離散化が、基礎となるダイナミクスの時間可逆性の対称性を完全に節約することを示します。
一緒に、これらの特性は、長距離相互作用の効率的なモデリングを可能にし、安定した正確な長距離予測を確保します。
最後に、ミッドレンジから非常に長距離分類と回帰までの幅広い時系列タスク、および長老の予測に及ぶ経験的な結果は、提案されたLinossモデルが常に最新の状態を上回っていることを示しています。
アートシーケンスモデル。
特に、Linossは、長さ50Kのシーケンスを備えたシーケンスモデリングタスクで、Mambaをほぼ2倍、LRUを2.5倍上回ることです。

要約(オリジナル)

We propose Linear Oscillatory State-Space models (LinOSS) for efficiently learning on long sequences. Inspired by cortical dynamics of biological neural networks, we base our proposed LinOSS model on a system of forced harmonic oscillators. A stable discretization, integrated over time using fast associative parallel scans, yields the proposed state-space model. We prove that LinOSS produces stable dynamics only requiring nonnegative diagonal state matrix. This is in stark contrast to many previous state-space models relying heavily on restrictive parameterizations. Moreover, we rigorously show that LinOSS is universal, i.e., it can approximate any continuous and causal operator mapping between time-varying functions, to desired accuracy. In addition, we show that an implicit-explicit discretization of LinOSS perfectly conserves the symmetry of time reversibility of the underlying dynamics. Together, these properties enable efficient modeling of long-range interactions, while ensuring stable and accurate long-horizon forecasting. Finally, our empirical results, spanning a wide range of time-series tasks from mid-range to very long-range classification and regression, as well as long-horizon forecasting, demonstrate that our proposed LinOSS model consistently outperforms state-of-the-art sequence models. Notably, LinOSS outperforms Mamba by nearly 2x and LRU by 2.5x on a sequence modeling task with sequences of length 50k.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google