SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling

要約

時系列分析は広範な分野で広く使用されています。
最近、ラベル付けのコストを削減し、さまざまなタスクに利益をもたらすために、自己指導型の事前トレーニングが大きな関心を集めています。
主流のパラダイムの 1 つはマスク モデリングです。これは、マスクされていない部分に基づいてマスクされたコンテンツを再構築することを学習することで、ディープ モデルを適切に事前トレーニングします。
ただし、時系列の意味情報は主に時間的変動に含まれるため、時点の一部をランダムにマスクする標準的な方法では、時系列の重要な時間的変動が著しく損なわれ、表現学習を導くには再構成タスクが非常に困難になります。
そこで、マスク時系列モデリングのためのシンプルな事前トレーニング フレームワークである SimMTM を紹介します。
SimMTM は、マスクされたモデリングを多様体学習に関連付けることにより、多様体の外側の複数の近傍の重み付き集約によってマスクされた時点を復元することを提案します。これにより、複数のマスクされた系列から台無しではあるが相補的な時間的変化を組み立てることによって再構成タスクが容易になります。
SimMTM はさらに、多様体の局所構造を明らかにすることを学習します。これは、マスクされたモデリングに役立ちます。
実験的に、SimMTM は、予測と分類という 2 つの標準時系列分析タスクにおいて、最先端の時系列事前トレーニング手法と比較して最先端の微調整パフォーマンスを実現し、ドメイン内設定とクロスドメイン設定の両方をカバーします。

要約(オリジナル)

Time series analysis is widely used in extensive areas. Recently, to reduce labeling expenses and benefit various tasks, self-supervised pre-training has attracted immense interest. One mainstream paradigm is masked modeling, which successfully pre-trains deep models by learning to reconstruct the masked content based on the unmasked part. However, since the semantic information of time series is mainly contained in temporal variations, the standard way of randomly masking a portion of time points will seriously ruin vital temporal variations of time series, making the reconstruction task too difficult to guide representation learning. We thus present SimMTM, a Simple pre-training framework for Masked Time-series Modeling. By relating masked modeling to manifold learning, SimMTM proposes to recover masked time points by the weighted aggregation of multiple neighbors outside the manifold, which eases the reconstruction task by assembling ruined but complementary temporal variations from multiple masked series. SimMTM further learns to uncover the local structure of the manifold, which is helpful for masked modeling. Experimentally, SimMTM achieves state-of-the-art fine-tuning performance compared to the most advanced time series pre-training methods in two canonical time series analysis tasks: forecasting and classification, covering both in- and cross-domain settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google