Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

要約

多変量時系列のモデリングは、医療から金融市場まで幅広いアプリケーションで確立された問題です。
従来の状態空間モデル (SSM) は、そのシンプルさと線形依存関係を表す表現力により、一変量時系列モデリングの古典的なアプローチです。
しかし、それらは非線形依存関係を捉えるための表現力が根本的に限られており、実際には遅く、変量間情報の流れをモデル化することができません。
深い構造の SSM を使用して SSM の表現力を向上させる最近の試みにもかかわらず、既存の方法は単変量時系列に限定されているか、複雑なパターン (季節パターンなど) をモデル化できないか、変量次元と時間次元の依存関係を動的にモデル化できないかのいずれかです。
、および/または入力に依存しません。
長期的な進行と季節パターンを学習するために、異なる離散化プロセスを持つ 2 つの入力依存 2 次元 SSM ヘッドを使用する Chimera を紹介します。
複雑な 2D 反復の効率を向上させるために、新しい 2 次元並列選択スキャンを使用した高速トレーニングを紹介します。
さらに、2D SSM の空間ケースとして 2 次元 Mamba と Mamba-2 を提示し、議論します。
私たちの実験的評価では、ECG と音声の時系列分類、長期および短期の時系列予測、時系列異常検出を含む広範かつ多様なベンチマークにおいて、Chimera の優れたパフォーマンスが示されています。

要約(オリジナル)

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google