Predict, Refine, Synthesize: Self-Guiding Diffusion Models for Probabilistic Time Series Forecasting

要約

拡散モデルは、さまざまなドメインにわたる生成モデリング タスクにおいて最先端のパフォーマンスを達成しました。
時系列拡散モデルに関するこれまでの研究は、主に、特定の予測または代入タスクに合わせて調整された条件付きモデルの開発に焦点を当てていました。
この研究では、いくつかの時系列アプリケーションに対するタスクに依存しない無条件拡散モデルの可能性を探ります。
私たちは、時系列に対して無条件にトレーニングされた拡散モデルである TSDiff を提案します。
私たちが提案する自己誘導メカニズムにより、補助ネットワークを必要としたり、トレーニング手順を変更したりすることなく、推論中に下流タスクに合わせて TSDiff を調整できます。
予測、改良、合成データ生成という 3 つの異なる時系列タスクに対するこの方法の有効性を実証します。
まず、TSDiff がいくつかのタスク固有の条件付き予測手法 (predict) と競合することを示します。
次に、TSDiff の学習された暗黙的な確率密度を利用して、逆拡散 (リファイン) よりも計算オーバーヘッドを削減しながら、ベース予測者の予測を反復的に改良します。
特に、モデルの生成パフォーマンスはそのままです。TSDiff の合成サンプルでトレーニングされた下流の予測機能は、他の最先端の生成時系列モデルのサンプルでトレーニングされた予測機能よりも優れたパフォーマンスを発揮し、場合によっては実際のデータ (合成) でトレーニングされたモデルを上回るパフォーマンスを発揮することもあります。

要約(オリジナル)

Diffusion models have achieved state-of-the-art performance in generative modeling tasks across various domains. Prior works on time series diffusion models have primarily focused on developing conditional models tailored to specific forecasting or imputation tasks. In this work, we explore the potential of task-agnostic, unconditional diffusion models for several time series applications. We propose TSDiff, an unconditionally trained diffusion model for time series. Our proposed self-guidance mechanism enables conditioning TSDiff for downstream tasks during inference, without requiring auxiliary networks or altering the training procedure. We demonstrate the effectiveness of our method on three different time series tasks: forecasting, refinement, and synthetic data generation. First, we show that TSDiff is competitive with several task-specific conditional forecasting methods (predict). Second, we leverage the learned implicit probability density of TSDiff to iteratively refine the predictions of base forecasters with reduced computational overhead over reverse diffusion (refine). Notably, the generative performance of the model remains intact — downstream forecasters trained on synthetic samples from TSDiff outperform forecasters that are trained on samples from other state-of-the-art generative time series models, occasionally even outperforming models trained on real data (synthesize).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google