Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting

要約

時系列分析は多くのアプリケーションにとって不可欠であり、この分野では変圧器がますます注目を集めています。
主要な手法では、連続信号をセグメントに変換するパッチング技術を利用して、NLP および CV からトランス アーキテクチャをカスタマイズします。
しかし、時系列データは、大幅な分布の変化と固有のノイズ レベルにより、特有の困難を伴います。
これら 2 つの課題に対処するために、スパース ベクトル量子化 FFN フリー トランスフォーマー (Sparse-VQ) を導入します。
私たちの方法論は、スパース ベクトル量子化技術とリバース インスタンス正規化 (RevIN) を組み合わせて利用し、ノイズの影響を軽減し、予測に十分な統計を取得し、トランス アーキテクチャのフィードフォワード レイヤー (FFN) の代替として機能します。
当社の FFN フリーのアプローチはパラメーター数を削減し、計算効率を向上させ、オーバーフィッティングを削減します。
新しく導入された CAISO データセットを含む 10 のベンチマーク データセットにわたる評価を通じて、Sparse-VQ は、単変量時系列予測と多変量時系列予測でそれぞれ MAE が 7.84% および 4.17% 減少し、主要モデルを上回りました。
さらに、既存のトランスベースのモデルとシームレスに統合して、パフォーマンスを向上させることができます。

要約(オリジナル)

Time series analysis is vital for numerous applications, and transformers have become increasingly prominent in this domain. Leading methods customize the transformer architecture from NLP and CV, utilizing a patching technique to convert continuous signals into segments. Yet, time series data are uniquely challenging due to significant distribution shifts and intrinsic noise levels. To address these two challenges,we introduce the Sparse Vector Quantized FFN-Free Transformer (Sparse-VQ). Our methodology capitalizes on a sparse vector quantization technique coupled with Reverse Instance Normalization (RevIN) to reduce noise impact and capture sufficient statistics for forecasting, serving as an alternative to the Feed-Forward layer (FFN) in the transformer architecture. Our FFN-free approach trims the parameter count, enhancing computational efficiency and reducing overfitting. Through evaluations across ten benchmark datasets, including the newly introduced CAISO dataset, Sparse-VQ surpasses leading models with a 7.84% and 4.17% decrease in MAE for univariate and multivariate time series forecasting, respectively. Moreover, it can be seamlessly integrated with existing transformer-based models to elevate their performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google