TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis

要約

一般的な時系列分析の分野では、最近、共通のアーキテクチャ バックボーンを特定のデータセットの特定のタスクで再トレーニングできる統合モデリングの検討が始まりました。
この研究では、タスクとドメイン間の統合という補完的な観点から統合にアプローチします。
この目的を達成するために、ジェネラリストのクロスドメイン トレーニングを可能にする、離散的で学習された時系列データ表現の影響を調査します。
私たちの手法である TOTEM (TOkenized Time Series EMbeddings) は、自己教師ありの方法で学習された離散ベクトル化表現を使用して、さまざまなドメインからの時系列データを埋め込むシンプルなトークナイザー アーキテクチャを提案します。
TOTEM は、チューニングを最小限またはまったく行わずに、複数のタスクとドメインにわたって機能します。
私たちは、3 つのタスクにわたる 17 の実世界の時系列データセットを広範に評価して、TOTEM の有効性を研究しています。
私たちは、スペシャリスト (つまり、各ドメインでモデルをトレーニングする) 設定とジェネラリスト (つまり、単一のモデルを多くのドメインでトレーニングする) 設定の両方を評価し、TOTEM がいくつかの一般的なベンチマークで以前の最良の方法と同等またはそれを上回るパフォーマンスを示すことを示します。
コードは https://github.com/SaberaTalukder/TOTEM で見つけることができます。

要約(オリジナル)

The field of general time series analysis has recently begun to explore unified modeling, where a common architectural backbone can be retrained on a specific task for a specific dataset. In this work, we approach unification from a complementary vantage point: unification across tasks and domains. To this end, we explore the impact of discrete, learnt, time series data representations that enable generalist, cross-domain training. Our method, TOTEM, or TOkenized Time Series EMbeddings, proposes a simple tokenizer architecture that embeds time series data from varying domains using a discrete vectorized representation learned in a self-supervised manner. TOTEM works across multiple tasks and domains with minimal to no tuning. We study the efficacy of TOTEM with an extensive evaluation on 17 real world time series datasets across 3 tasks. We evaluate both the specialist (i.e., training a model on each domain) and generalist (i.e., training a single model on many domains) settings, and show that TOTEM matches or outperforms previous best methods on several popular benchmarks. The code can be found at: https://github.com/SaberaTalukder/TOTEM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google