Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need

要約

時系列予測では、正確な予測を行うために短期と長期の依存関係のバランスを取る必要があります。
既存の手法は主に長期的な依存関係のモデリングに焦点を当てており、パフォーマンスを妨げる可能性がある短期的なダイナミクスの複雑さを無視しています。
トランスフォーマーは長期的な依存関係のモデル化には優れていますが、二次計算コストがかかることで批判されています。
Mamba は線形に近い代替手段を提供しますが、情報損失の可能性があるため、時系列の長期予測では効果が低いと報告されています。
現在のアーキテクチャは、長期的な依存関係モデリングに対して高効率と強力なパフォーマンスの両方を提供するには不十分です。
これらの課題に対処するために、時系列予測のパフォーマンスを向上させるために短期と長期の両方の依存関係をキャプチャする多用途モデルである Mixture of Universals (MoU) を導入します。
MoU は 2 つの新しい設計で構成されています。Mixture of Feature Extractors (MoF) は短期依存関係の時系列パッチ表現を改善するために設計された適応手法であり、Mixture of Architectures (MoA) は Mamba、FeedForward、Convolution を階層的に統合します。
ハイブリッドの観点から長期依存関係をモデル化するための、特殊な順序での Self-Attendance アーキテクチャ。
提案されたアプローチは、比較的低い計算コストを維持しながら、最先端のパフォーマンスを実現します。
7 つの現実世界のデータセットに対する広範な実験により、MoU の優位性が実証されました。
コードは https://github.com/lunaaa95/mou/ で入手できます。

要約(オリジナル)

Time series forecasting requires balancing short-term and long-term dependencies for accurate predictions. Existing methods mainly focus on long-term dependency modeling, neglecting the complexities of short-term dynamics, which may hinder performance. Transformers are superior in modeling long-term dependencies but are criticized for their quadratic computational cost. Mamba provides a near-linear alternative but is reported less effective in time series longterm forecasting due to potential information loss. Current architectures fall short in offering both high efficiency and strong performance for long-term dependency modeling. To address these challenges, we introduce Mixture of Universals (MoU), a versatile model to capture both short-term and long-term dependencies for enhancing performance in time series forecasting. MoU is composed of two novel designs: Mixture of Feature Extractors (MoF), an adaptive method designed to improve time series patch representations for short-term dependency, and Mixture of Architectures (MoA), which hierarchically integrates Mamba, FeedForward, Convolution, and Self-Attention architectures in a specialized order to model long-term dependency from a hybrid perspective. The proposed approach achieves state-of-the-art performance while maintaining relatively low computational costs. Extensive experiments on seven real-world datasets demonstrate the superiority of MoU. Code is available at https://github.com/lunaaa95/mou/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google