VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters

要約

基礎モデルは、時系列予測（TSF）で有望なアプローチとして浮上しています。
既存のアプローチは、大規模な言語モデル（LLM）を再利用するか、大規模な時系列データセットを構築して、ユニバーサル予測のためのTSFファンデーションモデルを開発します。
ただし、これらの方法は、重度のクロスドメインギャップまたはドメイン内の不均一性のために課題に直面しています。
このペーパーでは、豊かで高品質の自然画像からTSFファンデーションモデルを構築するための新しい道を探ります。
私たちの重要な洞察は、Imagenetデータセットで事前に訓練された視覚的なマスクされた自動エンコーダーが、自然に数値シリーズの予測者になる可能性があることです。
画像再構成タスクとしてTSFを再定式化することにより、画像のトレーニング前とTSFのダウンストリームタスクの間のギャップを埋めます。
驚くべきことに、時系列ドメインでのさらなる適応がなければ、提案されたVisiontは既存のTSFファンデーションモデルよりも優れたゼロショット予測パフォーマンスを達成できます。
1つのエポックを微調整することで、Visiontsは予測をさらに改善し、ほとんどの場合、最先端のパフォーマンスを達成することができました。
広範な実験では、画像と現実世界の時系列との本質的な類似性が明らかになり、視覚モデルがTSFに「無料のランチ」を提供し、将来のクロスモダリティ研究の可能性を強調する可能性があることを示唆しています。
私たちのコードは、https://github.com/keytoyze/visiontsで公開されています。

要約(オリジナル)

Foundation models have emerged as a promising approach in time series forecasting (TSF). Existing approaches either repurpose large language models (LLMs) or build large-scale time series datasets to develop TSF foundation models for universal forecasting. However, these methods face challenges due to the severe cross-domain gap or in-domain heterogeneity. This paper explores a new road to building a TSF foundation model from rich, high-quality natural images. Our key insight is that a visual masked autoencoder, pre-trained on the ImageNet dataset, can naturally be a numeric series forecaster. By reformulating TSF as an image reconstruction task, we bridge the gap between image pre-training and TSF downstream tasks. Surprisingly, without further adaptation in the time series domain, the proposed VisionTS could achieve better zero-shot forecast performance than existing TSF foundation models. With fine-tuning for one epoch, VisionTS could further improve the forecasting and achieve state-of-the-art performance in most cases. Extensive experiments reveal intrinsic similarities between images and real-world time series, suggesting that visual models may offer a ‘free lunch’ for TSF and highlight the potential for future cross-modality research. Our code is publicly available at https://github.com/Keytoyze/VisionTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google