要約
状態空間モデル（SSM）は、シーケンスモデリングの強力なコンポーネントとして浮上しており、線形再発と畳み込み計算による長距離依存関係の効率的な取り扱いを可能にします。
ただし、それらの有効性は、状態マトリックスの選択と初期化に大きく依存します。
この作業では、Safariフレームワークと既存のセイウチSSMSに基づいて、冗長ウェーブレットフレームから構築された新しいクラスのSSMである新しいバリアントW4S4（S4のセイウチ）を導入します。
セイウチは、安定した対角線化を認め、低ランクの近似を必要とせずに高速カーネル計算をサポートし、理論的に接地された計算効率の両方にします。
セイウチは、単独で、またS4などの深いアーキテクチャに統合された場合、HippoベースのSSMよりも長い視野よりも大幅に優れた情報を保持していることを示しています。
私たちの実験は、遅延再構成タスク、分類ベンチマーク、および長距離シーケンスモデリング全体の一貫した改善を示しており、ウェーブレットベースの状態の動的によって有効な高品質の構造化初期化が既存の代替品よりも大きな利点を提供することを確認します。
セリュースは、次世代の深いSSMベースのモデルのためのスケーラブルで汎用性の高い基盤を提供します。
要約(オリジナル)
State Space Models (SSMs) have emerged as powerful components for sequence modeling, enabling efficient handling of long-range dependencies via linear recurrence and convolutional computation. However, their effectiveness depends heavily on the choice and initialization of the state matrix. In this work, we build on the SaFARi framework and existing WaLRUS SSMs to introduce a new variant, W4S4 (WaLRUS for S4), a new class of SSMs constructed from redundant wavelet frames. WaLRUS admits a stable diagonalization and supports fast kernel computation without requiring low-rank approximations, making it both theoretically grounded and computationally efficient. We show that WaLRUS retains information over long horizons significantly better than HiPPO-based SSMs, both in isolation and when integrated into deep architectures such as S4. Our experiments demonstrate consistent improvements across delay reconstruction tasks, classification benchmarks, and long-range sequence modeling, confirming that high-quality, structured initialization enabled by wavelet-based state dynamic offers substantial advantages over existing alternatives. WaLRUS provides a scalable and versatile foundation for the next generation of deep SSM-based models.
arxiv情報
| 著者 | Hossein Babaei,Mel White,Richard G. Baraniuk |
| 発行日 | 2025-06-09 16:33:29+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google