Synthetic Time Series Forecasting with Transformer Architectures: Extensive Simulation Benchmarks

要約

時系列予測は、エネルギー、金融、ヘルスケアなどのドメインで重要な役割を果たします。
トランスベースのモデルは順次モデリングで成功を示していますが、時系列の採用は、ノイズ感度、長距離依存関係、時間構造に対する誘導バイアスの欠如などの課題によって制限されたままです。
この作業では、3つの著名な変圧器予測アーキテクチャ、情報提供者、およびPatchtst-eachが3つのアーキテクチャバリエーションを通じて評価されるベンチマークのための統一された原則的なフレームワークを提示します。
私たちは、クリーン条件と騒々しい条件の両方で5つのパッチの長さと5つの予測視野にまたがる10個の合成信号スイートで1500を超える制御された実験を実施します。
私たちの分析は、モデルファミリ全体で一貫したパターンを明らかにしています。
このランドスケープをさらに進めるために、オペレーターと理論の潜在状態モデリングを統合して安定性と解釈性を向上させるKoopmanが強化したトランスフレームワーク、Deep Koopformerを紹介します。
非線形および混oticとした動的システムでの有効性を示します。
私たちの結果は、Koopmanベースの変圧器を、ノイズの多い複雑な現実世界条件での堅牢で解釈可能な、理論的に根拠のある時系列予測の有望なハイブリッドアプローチとして強調しています。

要約(オリジナル)

Time series forecasting plays a critical role in domains such as energy, finance, and healthcare, where accurate predictions inform decision-making under uncertainty. Although Transformer-based models have demonstrated success in sequential modeling, their adoption for time series remains limited by challenges such as noise sensitivity, long-range dependencies, and a lack of inductive bias for temporal structure. In this work, we present a unified and principled framework for benchmarking three prominent Transformer forecasting architectures-Autoformer, Informer, and Patchtst-each evaluated through three architectural variants: Minimal, Standard, and Full, representing increasing levels of complexity and modeling capacity. We conduct over 1500 controlled experiments on a suite of ten synthetic signals, spanning five patch lengths and five forecast horizons under both clean and noisy conditions. Our analysis reveals consistent patterns across model families. To advance this landscape further, we introduce the Koopman-enhanced Transformer framework, Deep Koopformer, which integrates operator-theoretic latent state modeling to improve stability and interpretability. We demonstrate its efficacy on nonlinear and chaotic dynamical systems. Our results highlight Koopman based Transformer as a promising hybrid approach for robust, interpretable, and theoretically grounded time series forecasting in noisy and complex real-world conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google