Not All Data are Good Labels: On the Self-supervised Labeling for Time Series Forecasting

要約

時系列予測（TSF）はさまざまなドメインで重要なタスクですが、既存のTSFモデルは高品質のデータに大きく依存しており、利用可能なすべてのデータを不十分に活用しています。
このペーパーでは、本質的に候補データセットを構築することにより、再ラベル時系列データセットに対する新しい自己監視アプローチを探ります。
単純な再構成ネットワークの最適化中、中間体は自立したパラダイムの擬似ラベルとして使用され、あらゆる予測因子の一般化を改善します。
適応マスク（詐欺）を使用して自己修正を導入します。これは、過剰なコンポーネントを破棄し、再構築から生成された擬似ラベルに選択的に置き換えます。
さらに、Spectral Norm Remulization（SNR）を組み込んで、損失の状況の観点からの過剰フィットをさらに抑制します。
11の実世界のデータセットでの実験は、詐欺がさまざまなバックボーンモデルのパフォーマンスを一貫して改善することを示しています。
この作業は、データセットを構築し、自己監視学習を通じてTSFモデルの一般化を強化するという新しい視点を提供します。

要約(オリジナル)

Time Series Forecasting (TSF) is a crucial task in various domains, yet existing TSF models rely heavily on high-quality data and insufficiently exploit all available data. This paper explores a novel self-supervised approach to re-label time series datasets by inherently constructing candidate datasets. During the optimization of a simple reconstruction network, intermediates are used as pseudo labels in a self-supervised paradigm, improving generalization for any predictor. We introduce the Self-Correction with Adaptive Mask (SCAM), which discards overfitted components and selectively replaces them with pseudo labels generated from reconstructions. Additionally, we incorporate Spectral Norm Regularization (SNR) to further suppress overfitting from a loss landscape perspective. Our experiments on eleven real-world datasets demonstrate that SCAM consistently improves the performance of various backbone models. This work offers a new perspective on constructing datasets and enhancing the generalization of TSF models through self-supervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google