Blending Low and High-Level Semantics of Time Series for Better Masked Time Series Generation

要約

TimeVQVAE などの時系列生成 (TSG) における最先端のアプローチは、ベクトル量子化ベースのトークン化を利用して、時系列の複雑な分布を効果的にモデル化します。
これらのアプローチでは、まず時系列を離散潜在ベクトルのシーケンスに変換する方法を学習し、次にそのシーケンスをモデル化するために事前モデルを学習します。
ただし、離散潜在ベクトルは低レベルのセマンティクス (\textit{e.g.,} 形状) のみをキャプチャします。
我々は、低レベルと高レベルのセマンティクス (\textit{e.g.} 特性ダイナミクス) の両方を含む、より有益な離散潜在ベクトルで以前のモデルをトレーニングすることによって、より忠実度の高い時系列を生成できると仮説を立てます。
この論文では、自己教師あり学習をこれらの TSG 手法に統合して、低レベルおよび高レベルのセマンティクスが捕捉される離散潜在空間を導出する、NC-VQVAE と呼ばれる新しいフレームワークを紹介します。
私たちの実験結果は、NC-VQVAE によって合成サンプルの品質が大幅に向上することを示しています。

要約(オリジナル)

State-of-the-art approaches in time series generation (TSG), such as TimeVQVAE, utilize vector quantization-based tokenization to effectively model complex distributions of time series. These approaches first learn to transform time series into a sequence of discrete latent vectors, and then a prior model is learned to model the sequence. The discrete latent vectors, however, only capture low-level semantics (\textit{e.g.,} shapes). We hypothesize that higher-fidelity time series can be generated by training a prior model on more informative discrete latent vectors that contain both low and high-level semantics (\textit{e.g.,} characteristic dynamics). In this paper, we introduce a novel framework, termed NC-VQVAE, to integrate self-supervised learning into those TSG methods to derive a discrete latent space where low and high-level semantics are captured. Our experimental results demonstrate that NC-VQVAE results in a considerable improvement in the quality of synthetic samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google