Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning

要約

タイトル：深層学習を用いた時系列予測の再考：2ステップ前進、1ステップ後退

要約：
– Transformerは、注目機構に基づいた高度に成功したディープラーニングモデルで、自然言語処理および後にコンピュータビジョンにおいて、人工ニューラルネットワークの世界を革新しました。
– このモデルは、入力データに存在するさまざまなパターン間の複雑な意味的関係を捉えることができます。
– こうした特性から、Transformerは最近、連続的な数値時系列の領域において自然な適応性を持つとして、時系列予測問題に利用されるようになりました。
– 文献において、驚異的な結果が報告されているにもかかわらず、このアプローチの堅牢性や効果的な性格に疑問を投げかける研究もいくつかありました。
– 本論文では、Transformerベースのモデルが時系列予測の領域に適用された場合の効果をさらに調査し、その限界を明らかにし、性能が良く、かつ複雑性が低い一連の代替モデルを提案します。
– 特に、Transformerベースの予測モデルを単純化することで、ほぼ常に改善が見られ、最先端のパフォーマンスに到達することを実証しました。
– また、注目機構を持たないシャローモデルも提案し、長期の時系列予測において全般的な最先端に匹敵するようになっており、極めて長いウィンドウの時系列を正確に予測する能力を実証しています。
– 方法論的観点から、提案されたモデルの有効性を検証するために常に単純なベースラインを使用する必要があることを示し、最近の研究の傾向やハイプに追随することが必ずしも必要ではないとの考察で論文を締めくくります。

要約(オリジナル)

The Transformer is a highly successful deep learning model that has revolutionised the world of artificial neural networks, first in natural language processing and later in computer vision. This model is based on the attention mechanism and is able to capture complex semantic relationships between a variety of patterns present in the input data. Precisely because of these characteristics, the Transformer has recently been exploited for time series forecasting problems, assuming a natural adaptability to the domain of continuous numerical series. Despite the acclaimed results in the literature, some works have raised doubts about the robustness and effectiveness of this approach. In this paper, we further investigate the effectiveness of Transformer-based models applied to the domain of time series forecasting, demonstrate their limitations, and propose a set of alternative models that are better performing and significantly less complex. In particular, we empirically show how simplifying Transformer-based forecasting models almost always leads to an improvement, reaching state of the art performance. We also propose shallow models without the attention mechanism, which compete with the overall state of the art in long time series forecasting, and demonstrate their ability to accurately predict time series over extremely long windows. From a methodological perspective, we show how it is always necessary to use a simple baseline to verify the effectiveness of proposed models, and finally, we conclude the paper with a reflection on recent research paths and the opportunity to follow trends and hypes even where it may not be necessary.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI