Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs

要約

現実的な時系列データを生成することは、多くの工学および科学アプリケーションにとって重要です。
既存の研究では、敵対的生成ネットワーク (GAN) を使用してこの問題に取り組んでいます。
ただし、GAN はトレーニング中に不安定であり、モード崩壊が発生する可能性があります。
変分オートエンコーダ (VAE) はこれらの問題に対してより堅牢であることが知られていますが、時系列生成に関しては (驚くべきことに) あまり考慮されていません。
この研究では、事前モデルの新しい設計に基づいており、定期的および不規則なトレーニング データのいずれかに対して最適化できる新しい生成フレームワークである Koopman VAE (KoVAE) を紹介します。
コープマン理論に触発され、線形マップを使用して潜在的な条件付き事前ダイナミクスを表現します。
私たちのアプローチは、次の 2 つの望ましい機能によって生成モデリングを強化します。(i) 線形マップの固有値に対する制約を規定するスペクトル ツールを活用することで、ドメイン知識の組み込みを実現できます。
(ii) システムの定性的動作と安定性の研究は、動的システム理論のツールを使用して実行できます。
私たちの結果は、KoVAE が、いくつかの困難な合成および現実世界の時系列生成ベンチマークにわたって、最先端の GAN および VAE 手法を上回るパフォーマンスを示していることを示しています。
定期的または不規則なデータでトレーニングされたかどうかに関係なく、KoVAE は識別メトリクスと予測メトリクスの両方を向上させる時系列を生成します。
また、KoVAE が経験的なグラウンド トゥルース分布をより適切に近似する確率密度関数を学習することを示唆する視覚的な証拠も提示します。

要約(オリジナル)

Generating realistic time series data is important for many engineering and scientific applications. Existing work tackles this problem using generative adversarial networks (GANs). However, GANs are unstable during training, and they can suffer from mode collapse. While variational autoencoders (VAEs) are known to be more robust to the these issues, they are (surprisingly) less considered for time series generation. In this work, we introduce Koopman VAE (KoVAE), a new generative framework that is based on a novel design for the model prior, and that can be optimized for either regular and irregular training data. Inspired by Koopman theory, we represent the latent conditional prior dynamics using a linear map. Our approach enhances generative modeling with two desired features: (i) incorporating domain knowledge can be achieved by leveraging spectral tools that prescribe constraints on the eigenvalues of the linear map; and (ii) studying the qualitative behavior and stability of the system can be performed using tools from dynamical systems theory. Our results show that KoVAE outperforms state-of-the-art GAN and VAE methods across several challenging synthetic and real-world time series generation benchmarks. Whether trained on regular or irregular data, KoVAE generates time series that improve both discriminative and predictive metrics. We also present visual evidence suggesting that KoVAE learns probability density functions that better approximate the empirical ground truth distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google