Utilizing Image Transforms and Diffusion Models for Generative Modeling of Short and Long Time Series

要約

最近、時系列データの生成モデリングに対する関心が高まっています。
既存のアプローチのほとんどは、短いシーケンスを処理するか、長距離シーケンスを処理するように設計されています。
この二分法は、リカレント ネットワークの勾配の問題、変換器に関連する計算コスト、状態空間モデルの表現力の制限に起因すると考えられます。
可変長時系列の統一生成モデルに向けて、この研究ではシーケンスを画像に変換することを提案します。
遅延埋め込みや短時間フーリエ変換などの可逆変換を採用することで、次の 3 つの主な利点が得られます。 i) 高度な拡散ビジョン モデルを活用できます。
ii) 同じフレームワーク内で短距離入力と長距離入力を大幅に処理できます。
iii) 時系列で提案されている最近および確立されたツールを利用して、文献を画像化することができます。
無条件生成、内挿、外挿などの複数のタスクにわたる包括的な評価を通じて、手法の有効性を検証します。
私たちのアプローチが、強力なベースラインに対して一貫して最先端の結果を達成することを示します。
無条件生成タスクでは、以前の拡散モデルと比較して、短い識別スコアで 58.17%、(超)長い分類スコアで 132.61% という顕著な平均改善を示しました。
コードは https://github.com/azencot-group/ImagenTime にあります。

要約(オリジナル)

Lately, there has been a surge in interest surrounding generative modeling of time series data. Most existing approaches are designed either to process short sequences or to handle long-range sequences. This dichotomy can be attributed to gradient issues with recurrent networks, computational costs associated with transformers, and limited expressiveness of state space models. Towards a unified generative model for varying-length time series, we propose in this work to transform sequences into images. By employing invertible transforms such as the delay embedding and the short-time Fourier transform, we unlock three main advantages: i) We can exploit advanced diffusion vision models; ii) We can remarkably process short- and long-range inputs within the same framework; and iii) We can harness recent and established tools proposed in the time series to image literature. We validate the effectiveness of our method through a comprehensive evaluation across multiple tasks, including unconditional generation, interpolation, and extrapolation. We show that our approach achieves consistently state-of-the-art results against strong baselines. In the unconditional generation tasks, we show remarkable mean improvements of 58.17% over previous diffusion models in the short discriminative score and 132.61% in the (ultra-)long classification scores. Code is at https://github.com/azencot-group/ImagenTime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google