Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning

要約

タイトル：深層学習を用いた時系列予測を再考する: 2ステップ前進、1ステップ後退

要約：
– Transformerは、自然言語処理、コンピュータビジョンなどの分野で革命的な成功を収めた深層学習モデルである。
– このモデルは、アテンション機構に基づき、入力データに存在するさまざまなパターン間の複雑な意味的関係を捉えることができる。
– これらの特性により、Transformerは、連続的な数値系列のドメインに自然に適応できると考えられ、最近、時系列予測問題に応用されているが、その有効性について疑問が呈されている。
– 本論文では、Transformerベースのモデルの有効性について詳しく調査し、その限界を示し、より高性能で複雑性が低い一連の代替モデルを提案する。
– 特に、この予測モデルを単純化することで、改良がほとんど常に見られ、Transformerベースのアーキテクチャの最先端に達することができることを実証する。
– また、アテンション機構のない浅いモデルを提案し、長い時系列予測全体で最先端の競合力を持ち、非常に長いウィンドウを正確に予測する能力を実証する。
– 最後に、自分のモデルの効果を確認するために常に簡単なベースラインを使用する必要があることを示し、最新のモデルを不必要に適用することについての研究方向と考察をまとめる。

要約(オリジナル)

The Transformer is a highly successful deep learning model that has revolutionised the world of artificial neural networks, first in natural language processing and later in computer vision. This model is based on the attention mechanism and is able to capture complex semantic relationships between a variety of patterns present in the input data. Precisely because of these characteristics, the Transformer has recently been exploited for time series forecasting problems, assuming its natural adaptability to the domain of continuous numerical series. Despite the acclaimed results in the literature, some works have raised doubts about the robustness of this approach. In this paper, we further investigate the effectiveness of Transformer-based models applied to the domain of time series forecasting, demonstrate their limitations, and propose a set of alternative models that are better performing and significantly less complex. In particular, we empirically show how simplifying this forecasting model almost always leads to an improvement, reaching the state of the art among Transformer-based architectures. We also propose shallow models without the attention mechanism, which compete with the overall state of the art in long time series forecasting, and demonstrate their ability to accurately predict extremely long windows. We show how it is always necessary to use a simple baseline to verify the effectiveness of one’s models, and finally we conclude the paper with a reflection on recent research paths and the desire to follow trends and apply the latest model even where it may not be necessary.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI