Learning to Embed Time Series Patches Independently

要約

マスクされた時系列モデリングは、時系列の自己教師あり表現学習戦略として最近大きな注目を集めています。
コンピューター ビジョンのマスクされた画像モデリングに触発された最近の研究では、最初に時系列をパッチ化して部分的にマスクアウトし、次にマスクされていないパッチからマスクされたパッチを予測することでパッチ間の依存関係をキャプチャするように Transformer をトレーニングします。
ただし、このようなパッチの依存関係を把握することは、時系列表現の学習にとって最適な戦略ではない可能性があると主張します。
むしろ、パッチを個別に埋め込む方法を学習すると、より良い時系列表現が得られます。
具体的には、1) 他のパッチを参照せずに各パッチを自動エンコードする単純なパッチ再構成タスク、および 2) 各パッチを個別に埋め込む単純なパッチごとの MLP を使用することを提案します。
さらに、隣接する時系列情報を階層的に効率的に取得するための相補的対比学習を導入します。
私たちが提案する方法は、最先端の Transformer ベースのモデルと比較して、時系列予測と分類のパフォーマンスを向上させると同時に、パラメーターの数とトレーニング/推論時間の点でより効率的です。
コードはこのリポジトリ: https://github.com/seunghan96/pits で入手できます。

要約(オリジナル)

Masked time series modeling has recently gained much attention as a self-supervised representation learning strategy for time series. Inspired by masked image modeling in computer vision, recent works first patchify and partially mask out time series, and then train Transformers to capture the dependencies between patches by predicting masked patches from unmasked patches. However, we argue that capturing such patch dependencies might not be an optimal strategy for time series representation learning; rather, learning to embed patches independently results in better time series representations. Specifically, we propose to use 1) the simple patch reconstruction task, which autoencode each patch without looking at other patches, and 2) the simple patch-wise MLP that embeds each patch independently. In addition, we introduce complementary contrastive learning to hierarchically capture adjacent time series information efficiently. Our proposed method improves time series forecasting and classification performance compared to state-of-the-art Transformer-based models, while it is more efficient in terms of the number of parameters and training/inference time. Code is available at this repository: https://github.com/seunghan96/pits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google