LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting

要約

ゼロショット予測を可能にする強力な埋め込み空間を備えた基本的な時系列モデルである LatentTimePFN (LaT-PFN) を紹介します。
これを達成するために、事前データ適合ネットワーク (PFN) と結合埋め込み予測アーキテクチャ (JEPA) フレームワークの新たな統合を利用して、潜在空間でインコンテキスト学習を実行します。
JEPA フレームワークを活用して、時系列を生成し、PFN を使用してそれを文脈学習と組み合わせる、基礎となる確率プロセスの予測に最適化された潜在表現を作成します。
さらに、関連する時系列をコンテキストとして利用し、抽象的な時間軸を導入することで、先行研究を改良します。
これにより、トレーニング時間が大幅に短縮され、任意の時間粒度と予測範囲が可能になるため、モデルの汎用性が高まります。
これにより、確立されたベースラインと比較して優れたゼロショット予測が得られることがわかります。
また、潜在空間が個々のタイム ステップと系列全体の固定長の要約の両方の有益な埋め込みを生成することも示します。
最後に、明示的なトレーニングなしでマルチステップのパッチ埋め込みの出現を観察しました。これは、ビジョン トランスフォーマーと同様に、モデルがデータ内のローカル構造をエンコードする離散トークンを積極的に学習していることを示唆しています。

要約(オリジナル)

We introduce LatentTimePFN (LaT-PFN), a foundational Time Series model with a strong embedding space that enables zero-shot forecasting. To achieve this, we perform in-context learning in latent space utilizing a novel integration of the Prior-data Fitted Networks (PFN) and Joint Embedding Predictive Architecture (JEPA) frameworks. We leverage the JEPA framework to create a prediction-optimized latent representation of the underlying stochastic process that generates time series and combines it with contextual learning, using a PFN. Furthermore, we improve on preceding works by utilizing related time series as a context and introducing an abstract time axis. This drastically reduces training time and increases the versatility of the model by allowing any time granularity and forecast horizon. We show that this results in superior zero-shot predictions compared to established baselines. We also demonstrate our latent space produces informative embeddings of both individual time steps and fixed-length summaries of entire series. Finally, we observe the emergence of multi-step patch embeddings without explicit training, suggesting the model actively learns discrete tokens that encode local structures in the data, analogous to vision transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google