TSLANet: Rethinking Transformers for Time Series Representation Learning

要約

時系列データは、本質的な長距離および短距離の依存関係を特徴としており、分析アプリケーション全体に特有の課題を引き起こします。
Transformer ベースのモデルは、長距離の依存関係のキャプチャには優れていますが、ノイズ感度、計算効率、および小規模なデータセットでの過剰適合の点で制限に直面しています。
これに応えて、多様な時系列タスクのためのユニバーサル畳み込みモデルとして、新しい Time Series Lightweight Adaptive Network (TSLANet) を導入します。
具体的には、フーリエ解析を利用して特徴表現を強化し、適応しきい値処理によってノイズを軽減しながら長期と短期の両方の相互作用を捕捉する適応スペクトル ブロックを提案します。
さらに、Interactive Convolution Block を導入し、自己教師あり学習を活用して、複雑な時間パターンをデコードするための TSLANet の能力を向上させ、さまざまなデータセットに対する堅牢性を向上させます。
私たちの包括的な実験では、TSLANet が分類、予測、異常検出に及ぶさまざまなタスクにおいて最先端のモデルを上回るパフォーマンスを示し、さまざまなノイズ レベルとデータ サイズにわたる復元力と適応性を示しています。
コードは \url{https://github.com/emadeldeen24/TSLANet} で入手できます。

要約(オリジナル)

Time series data, characterized by its intrinsic long and short-range dependencies, poses a unique challenge across analytical applications. While Transformer-based models excel at capturing long-range dependencies, they face limitations in noise sensitivity, computational efficiency, and overfitting with smaller datasets. In response, we introduce a novel Time Series Lightweight Adaptive Network (TSLANet), as a universal convolutional model for diverse time series tasks. Specifically, we propose an Adaptive Spectral Block, harnessing Fourier analysis to enhance feature representation and to capture both long-term and short-term interactions while mitigating noise via adaptive thresholding. Additionally, we introduce an Interactive Convolution Block and leverage self-supervised learning to refine the capacity of TSLANet for decoding complex temporal patterns and improve its robustness on different datasets. Our comprehensive experiments demonstrate that TSLANet outperforms state-of-the-art models in various tasks spanning classification, forecasting, and anomaly detection, showcasing its resilience and adaptability across a spectrum of noise levels and data sizes. The code is available at \url{https://github.com/emadeldeen24/TSLANet}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google