Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors

要約

現実世界の時系列は、詳細な予測モデルにとって主な課題となる本質的な非定常性を特徴としています。
以前のモデルは、時間分布の変化によって引き起こされる複雑な時系列変動に悩まされていましたが、私たちは、根底にある時間変動ダイナミクスを根本的に考慮する現代のクープマン理論を使用して、非定常時系列に取り組みます。
複雑な力学システムを描写するコープマン理論に触発され、フーリエ フィルターによって複雑な非定常系列から時変成分と時間不変成分を解きほぐし、それぞれのダイナミクスを前進させるコープマン予測器を設計します。
技術的には、階層ダイナミクスを学習する積み重ね可能なブロックで構成される新しい Koopman 予測器として Koopa を提案します。
Koopa は、Koopman 埋め込みのための測定関数を求め、Koopman 演算子を暗黙的な遷移の線形ポートレートとして利用します。
強い局所性を示す時変ダイナミクスに対処するために、Koopa は時間的近傍でコンテキスト認識演算子を計算し、受信したグランド トゥルースを利用して予測範囲をスケールアップできます。
さらに、コープマン予測器を深い残差構造に統合することにより、以前のコープマン予測器における結合再構成損失を解明し、エンドツーエンドの予測目標の最適化を達成します。
最新のモデルと比較して、Koopa はトレーニング時間 77.3% とメモリ 76.0% を節約しながら、競争力のあるパフォーマンスを実現します。

要約(オリジナル)

Real-world time series are characterized by intrinsic non-stationarity that poses a principal challenge for deep forecasting models. While previous models suffer from complicated series variations induced by changing temporal distribution, we tackle non-stationary time series with modern Koopman theory that fundamentally considers the underlying time-variant dynamics. Inspired by Koopman theory of portraying complex dynamical systems, we disentangle time-variant and time-invariant components from intricate non-stationary series by Fourier Filter and design Koopman Predictor to advance respective dynamics forward. Technically, we propose Koopa as a novel Koopman forecaster composed of stackable blocks that learn hierarchical dynamics. Koopa seeks measurement functions for Koopman embedding and utilizes Koopman operators as linear portraits of implicit transition. To cope with time-variant dynamics that exhibits strong locality, Koopa calculates context-aware operators in the temporal neighborhood and is able to utilize incoming ground truth to scale up forecast horizon. Besides, by integrating Koopman Predictors into deep residual structure, we ravel out the binding reconstruction loss in previous Koopman forecasters and achieve end-to-end forecasting objective optimization. Compared with the state-of-the-art model, Koopa achieves competitive performance while saving 77.3% training time and 76.0% memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google