Loss Shaping Constraints for Long-Term Time Series Forecasting

要約

時系列予測のいくつかのアプリケーションでは、複数のステップ先を予測する必要があります。
このトピックに関する膨大な量の文献があるにもかかわらず、従来の深層学習ベースのアプローチと最近の深層学習ベースのアプローチはどちらも、予測ウィンドウ全体の平均パフォーマンスを最小限に抑えることに主に焦点を当ててきました。
これにより、特に一般的な予測ベンチマークでトレーニングされた最近の変圧器アーキテクチャの場合、予測ステップ全体で誤差が異なる分布になる可能性があることが観察されています。
つまり、平均してパフォーマンスを最適化すると、特定のタイムステップで望ましくない大きなエラーが発生する可能性があります。
この研究では、各タイムステップでのユーザー定義の損失の上限を尊重する平均パフォーマンスの観点から最適なモデルを見つけることを目的とした、長期時系列予測のための制約学習アプローチを紹介します。
各タイムステップで損失に制約を課すため、このアプローチを損失整形制約と呼びます。また、最近の双対性の結果を利用して、非凸性にもかかわらず、結果として生じる問題には有限の双対性ギャップがあることが示されています。
我々は、これに取り組むための実用的な Primal-Dual アルゴリズムを提案し、提案されたアプローチが、予測ウィンドウ全体の誤差の分布を形成しながら、時系列予測ベンチマークにおいて競争力のある平均パフォーマンスを発揮することを実証します。

要約(オリジナル)

Several applications in time series forecasting require predicting multiple steps ahead. Despite the vast amount of literature in the topic, both classical and recent deep learning based approaches have mostly focused on minimising performance averaged over the predicted window. We observe that this can lead to disparate distributions of errors across forecasting steps, especially for recent transformer architectures trained on popular forecasting benchmarks. That is, optimising performance on average can lead to undesirably large errors at specific time-steps. In this work, we present a Constrained Learning approach for long-term time series forecasting that aims to find the best model in terms of average performance that respects a user-defined upper bound on the loss at each time-step. We call our approach loss shaping constraints because it imposes constraints on the loss at each time step, and leverage recent duality results to show that despite its non-convexity, the resulting problem has a bounded duality gap. We propose a practical Primal-Dual algorithm to tackle it, and demonstrate that the proposed approach exhibits competitive average performance in time series forecasting benchmarks, while shaping the distribution of errors across the predicted window.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google