Abstracted Shapes as Tokens — A Generalizable and Interpretable Model for Time-series Classification

要約

時系列分析では、最近の研究の多くは、複数のドメインにわたる時系列の統一されたビューと表現を提供することを目指しており、時系列データの基礎モデルの開発につながります。
モデリング手法は多様であるにもかかわらず、既存のモデルはブラックボックスであり、その表現についての洞察や説明を提供できません。
この論文では、時系列表現の学習と分類のための、事前トレーニング済みの一般化可能で解釈可能なモデルである VQShape を紹介します。
時系列データに新しい表現を導入することで、VQShape の潜在空間と形状レベルの特徴の間の接続を確立します。
ベクトル量子化を使用して、さまざまなドメインの時系列を低次元コードの統一セットを使用して記述でき、各コードを時間ドメインの抽象化された形状として表現できることを示します。
分類タスクに関しては、VQShape の表現を利用して解釈可能な分類器を構築し、専門モデルと同等のパフォーマンスを達成できることを示します。
さらに、ゼロショット学習では、VQShape とそのコードブックを、事前トレーニング プロセスに含まれていない、これまでに見たことのないデータセットやドメインに一般化できます。
コードと事前トレーニングされた重みは、https://github.com/YunshiWen/VQShape で入手できます。

要約(オリジナル)

In time-series analysis, many recent works seek to provide a unified view and representation for time-series across multiple domains, leading to the development of foundation models for time-series data. Despite diverse modeling techniques, existing models are black boxes and fail to provide insights and explanations about their representations. In this paper, we present VQShape, a pre-trained, generalizable, and interpretable model for time-series representation learning and classification. By introducing a novel representation for time-series data, we forge a connection between the latent space of VQShape and shape-level features. Using vector quantization, we show that time-series from different domains can be described using a unified set of low-dimensional codes, where each code can be represented as an abstracted shape in the time domain. On classification tasks, we show that the representations of VQShape can be utilized to build interpretable classifiers, achieving comparable performance to specialist models. Additionally, in zero-shot learning, VQShape and its codebook can generalize to previously unseen datasets and domains that are not included in the pre-training process. The code and pre-trained weights are available at https://github.com/YunshiWen/VQShape.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google