Vector Quantized Time Series Generation with a Bidirectional Prior Model

要約

【タイトル】双方向事前モデルを用いたベクトル量子化時系列生成

【要約】
– 時系列生成の研究は主に、生成的敵対的ネットワーク（GAN）と再帰型ニューラルネットワーク（RNN）の変種を組み合わせたものが中心であった。
– しかしながら、GANのトレーニングに対する基本的な制限や課題が残されている上、RNN系列は遠い時間ステップ間の時間的一貫性に苦労することが特徴的である。
– IMG領域での成功を受けて、我々はTimeVQVAEを提案している。これは、TSG問題に対処するために、ベクトル量子化（VQ）技術を使用することが、我々の知る限り初めての取り組みである。
– さらに、離散潜在空間の事前知識を双方向トランスフォーマモデルで学習することで、グローバルな時間的一貫性をより良く捉えることができる。また、時間周波数領域でのVQモデリングを提案しており、低周波（LF）と高周波（HF）に分離している。
– これにより、時系列の重要な特徴を保持することができ、その結果、競合するTSG方法よりも質の高い新しい合成信号を生成することができる。
– 評価実験は、IMG文献でよく確立されているフレシェ・インセプション距離やインセプションスコアなどのよく知られたメトリックを用いて、UCRアーカイブの全データセットで実施されている。
– 実装はGitHubで公開されている：\url{https://github.com/ML4ITS/TimeVQVAE}。

要約(オリジナル)

Time series generation (TSG) studies have mainly focused on the use of Generative Adversarial Networks (GANs) combined with recurrent neural network (RNN) variants. However, the fundamental limitations and challenges of training GANs still remain. In addition, the RNN-family typically has difficulties with temporal consistency between distant timesteps. Motivated by the successes in the image generation (IMG) domain, we propose TimeVQVAE, the first work, to our knowledge, that uses vector quantization (VQ) techniques to address the TSG problem. Moreover, the priors of the discrete latent spaces are learned with bidirectional transformer models that can better capture global temporal consistency. We also propose VQ modeling in a time-frequency domain, separated into low-frequency (LF) and high-frequency (HF). This allows us to retain important characteristics of the time series and, in turn, generate new synthetic signals that are of better quality, with sharper changes in modularity, than its competing TSG methods. Our experimental evaluation is conducted on all datasets from the UCR archive, using well-established metrics in the IMG literature, such as Fr\’echet inception distance and inception scores. Our implementation on GitHub: \url{https://github.com/ML4ITS/TimeVQVAE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI