CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting

要約

最近の研究では、時系列予測における Transformer モデルの大きな力が証明されています。
トランスフォーマーの成功につながる重要な要素の 1 つは、トレーニングの堅牢性を向上させるチャネル独立 (CI) 戦略です。
ただし、CI 内のさまざまなチャネル間の相関関係を無視すると、モデルの予測能力が制限されます。
この作業では、CI タイプの主な欠点に対処する特別なトランスフォーマー、つまり {\bf C}hannel {\bf A}ligned {\bf R}obust Blen{\bf d} Transformer (略して CARD) を設計します。
時系列予測のトランスフォーマー。
まず、CARD はチャネルに合わせたアテンション構造を導入し、信号間の時間的相関と、時間の経過に伴う複数の変数間の動的依存性の両方を捕捉できるようにします。
次に、マルチスケールの知識を効率的に利用するために、異なる解像度のトークンを生成するトークン ブレンド モジュールを設計します。
3 番目に、潜在的な過剰適合の問題を軽減するために、時系列予測に堅牢な損失関数を導入します。
この新しい損失関数は、予測の不確実性に基づいて、有限期間にわたる予測の重要性を重視します。
複数の長期および短期予測データセットを評価したところ、CARD が最先端の時系列予測手法を大幅に上回ることが実証されました。
コードは次の匿名リポジトリで入手できます: \url{https://anonymous.4open.science/r/CARD-6EEC}

要約(オリジナル)

Recent studies have demonstrated the great power of Transformer models for time series forecasting. One of the key elements that lead to the transformer’s success is the channel-independent (CI) strategy to improve the training robustness. However, the ignorance of the correlation among different channels in CI would limit the model’s forecasting capacity. In this work, we design a special Transformer, i.e., {\bf C}hannel {\bf A}ligned {\bf R}obust Blen{\bf d} Transformer (CARD for short), that addresses key shortcomings of CI type Transformer in time series forecasting. First, CARD introduces a channel-aligned attention structure that allows it to capture both temporal correlations among signals and dynamical dependence among multiple variables over time. Second, in order to efficiently utilize the multi-scale knowledge, we design a token blend module to generate tokens with different resolutions. Third, we introduce a robust loss function for time series forecasting to alleviate the potential overfitting issue. This new loss function weights the importance of forecasting over a finite horizon based on prediction uncertainties. Our evaluation of multiple long-term and short-term forecasting datasets demonstrates that CARD significantly outperforms state-of-the-art time series forecasting methods. The code is available at the following anonymous repository: \url{https://anonymous.4open.science/r/CARD-6EEC}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google