Vector Quantized Time Series Generation with a Bidirectional Prior Model

要約

時系列生成 (TSG) の研究は、主に、敵対的生成ネットワーク (GAN) と再帰型ニューラル ネットワーク (RNN) バリアントを組み合わせた使用に焦点を当ててきました。
ただし、GAN のトレーニングの基本的な制限と課題は依然として残っています。
さらに、RNN ファミリーは通常、離れたタイムステップ間の時間的一貫性に問題があります。
画像生成 (IMG) ドメインでの成功に動機付けられて、TSG 問題に対処するためにベクトル量子化 (VQ) 技術を使用する、私たちの知る限り、最初の作業である TimeVQVAE を提案します。
さらに、離散潜在空間の事前分布は、グローバルな時間的一貫性をより適切に捉えることができる双方向変換モデルを使用して学習されます。
また、低周波 (LF) と高周波 (HF) に分離された時間-周波数ドメインでの VQ モデリングも提案します。
これにより、時系列の重要な特性を保持し、競合する TSG メソッドよりもモジュール性が急激に変化し、より高品質の新しい合成信号を生成できます。
私たちの実験的評価は、UCR アーカイブのすべてのデータセットに対して行われ、Fr\’echet 開始距離や開始スコアなど、IMG 文献で確立された指標を使用します。
GitHub での実装: \url{https://github.com/ML4ITS/TimeVQVAE}。

要約(オリジナル)

Time series generation (TSG) studies have mainly focused on the use of Generative Adversarial Networks (GANs) combined with recurrent neural network (RNN) variants. However, the fundamental limitations and challenges of training GANs still remain. In addition, the RNN-family typically has difficulties with temporal consistency between distant timesteps. Motivated by the successes in the image generation (IMG) domain, we propose TimeVQVAE, the first work, to our knowledge, that uses vector quantization (VQ) techniques to address the TSG problem. Moreover, the priors of the discrete latent spaces are learned with bidirectional transformer models that can better capture global temporal consistency. We also propose VQ modeling in a time-frequency domain, separated into low-frequency (LF) and high-frequency (HF). This allows us to retain important characteristics of the time series and, in turn, generate new synthetic signals that are of better quality, with sharper changes in modularity, than its competing TSG methods. Our experimental evaluation is conducted on all datasets from the UCR archive, using well-established metrics in the IMG literature, such as Fr\’echet inception distance and inception scores. Our implementation on GitHub: \url{https://github.com/ML4ITS/TimeVQVAE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google