A SSM is Polymerized from Multivariate Time Series

要約

多変量時系列 (MTS) タスクの場合、以前の状態空間モデル (SSM) は、Transformer ベースの手法のモデリング パラダイムに従っていました。
ただし、それらのどれも、MTS の複雑な依存関係、つまりチャネル依存関係の時間変化 (CDT) を明示的にモデル化していません。
これを考慮して、連続的に更新される関数を直交関数ベースで近似することを含む SSM の導出について詳しく説明します。
次に、MTS 予測の新しい手法である Poly-Mamba を開発します。
その中心的な概念は、元の直交関数基底空間を変数混合項を含む多変量直交関数空間に拡張し、重み付け係数によって CDT を明示的に記述するためにこの空間に射影を行うことです。
Poly-Mamba では、この概念の簡略化された実装として多変量直交多項式近似 (MOPA) を提案します。
チャネル間の単純な線形関係については、線形チャネル ミキシング (LCM) を提案し、提案された順序結合法を通じてさまざまなチャネルに適応的に CDT パターンを生成します。
6 つの現実世界のデータセットでの実験では、特に多数のチャネルと複雑な相関関係を持つデータセットを扱う場合、Poly-Mamba が SOTA 手法よりも優れたパフォーマンスを発揮することが実証されました。
コードとログ ファイルは https://github.com/Joeland4/Poly-Mamba でリリースされます。

要約(オリジナル)

For multivariate time series (MTS) tasks, previous state space models (SSMs) followed the modeling paradigm of Transformer-based methods. However, none of them explicitly model the complex dependencies of MTS: the Channel Dependency variations with Time (CDT). In view of this, we delve into the derivation of SSM, which involves approximating continuously updated functions by orthogonal function basis. We then develop Poly-Mamba, a novel method for MTS forecasting. Its core concept is to expand the original orthogonal function basis space into a multivariate orthogonal function space containing variable mixing terms, and make a projection on this space so as to explicitly describe the CDT by weighted coefficients. In Poly-Mamba, we propose the Multivariate Orthogonal Polynomial Approximation (MOPA) as a simplified implementation of this concept. For the simple linear relationship between channels, we propose Linear Channel Mixing (LCM) and generate CDT patterns adaptively for different channels through a proposed Order Combining method. Experiments on six real-world datasets demonstrate that Poly-Mamba outperforms the SOTA methods, especially when dealing with datasets having a large number of channels and complex correlations. The codes and log files will be released at: https://github.com/Joeland4/Poly-Mamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google