Proactive Model Adaptation Against Concept Drift for Online Time Series Forecasting

要約

時系列予測は常に、データ分布が時間の経過とともに変化し、予測モデルのパフォーマンスの低下につながる概念ドリフトという課題に直面しています。
既存のソリューションはオンライン学習に基づいており、最近の時系列観測を新しいトレーニング サンプルとして継続的に整理し、最近のデータの予測フィードバックに従ってモデル パラメーターを更新します。
しかし、彼らは重大な問題を見落としています。それは、各サンプルの将来の真実の値の取得は、予測期間が終わるまで遅らせる必要があるということです。
この遅延により、トレーニング サンプルとテスト サンプルの間に一時的なギャップが生じます。
私たちの実証分析により、ギャップにより概念のずれが生じ、予測モデルが時代遅れの概念に適応する可能性があることが明らかになりました。
この論文では、オンライン時系列予測のための新しいプロアクティブなモデル適応フレームワークである \textsc{Proceed} を紹介します。
\textsc{Proceed} は最初に、最近使用されたトレーニング サンプルと現在のテスト サンプルの間のコンセプト ドリフトを推定します。
次に、適応ジェネレーターを使用して、推定されたドリフトをパラメーター調整に効率的に変換し、モデルをテスト サンプルに積極的に適応させます。
フレームワークの一般化機能を強化するために、\textsc{Proceed} は合成された多様な概念ドリフトに基づいてトレーニングされます。
さまざまな予測モデルにわたる 5 つの現実世界のデータセットに対する広範な実験により、 \textsc{Proceed} が最先端のオンライン学習方法よりもパフォーマンスの向上をもたらし、概念のドリフトに対する予測モデルの回復力が大幅に促進されることが実証されました。
コードは \url{https://github.com/SJTU-DMTai/OnlineTSF} で入手できます。

要約(オリジナル)

Time series forecasting always faces the challenge of concept drift, where data distributions evolve over time, leading to a decline in forecast model performance. Existing solutions are based on online learning, which continually organize recent time series observations as new training samples and update model parameters according to the forecasting feedback on recent data. However, they overlook a critical issue: obtaining ground-truth future values of each sample should be delayed until after the forecast horizon. This delay creates a temporal gap between the training samples and the test sample. Our empirical analysis reveals that the gap can introduce concept drift, causing forecast models to adapt to outdated concepts. In this paper, we present \textsc{Proceed}, a novel proactive model adaptation framework for online time series forecasting. \textsc{Proceed} first estimates the concept drift between the recently used training samples and the current test sample. It then employs an adaptation generator to efficiently translate the estimated drift into parameter adjustments, proactively adapting the model to the test sample. To enhance the generalization capability of the framework, \textsc{Proceed} is trained on synthetic diverse concept drifts. Extensive experiments on five real-world datasets across various forecast models demonstrate that \textsc{Proceed} brings more performance improvements than the state-of-the-art online learning methods, significantly facilitating forecast models’ resilience against concept drifts. Code is available at \url{https://github.com/SJTU-DMTai/OnlineTSF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google