Mamba time series forecasting with uncertainty quantification

要約

マンバなどの状態空間モデルは、シーケンスパターンをキャプチャする能力により、最近、時系列予測で注目を集めています。
ただし、電力消費ベンチマークでは、Mambaの予測は平均誤差の約8 \％を示します。
同様に、トラフィック占有ベンチマークでは、平均エラーは18 \％に達します。
この矛盾により、予測が単に不正確であるか、履歴データに広がっているとエラー内に該当するのか疑問に思うようになります。
この制限に対処するために、MAMBA予測の予測不確実性を定量化する方法を提案します。
ここでは、確率的予測のMambaアーキテクチャに基づいたデュアルネットワークフレームワークを提案します。ここでは、1つのネットワークがポイント予測を生成し、他のネットワークは分散をモデル化することにより予測不確実性を推定します。
Mamba-Probtsfとその実装のコードはGithub（https://github.com/pessoap/mamba-probtsf）で利用できるように、Mamba-probtsfとその実装のコードを使用できるため、Mambaを確率的時系列予測で略します。
合成および実世界のベンチマークデータセットでこのアプローチを評価すると、学習された分布とデータの間のKullback-Leiblerの発散は、無限のデータの限界で、モデルがゼロに収束するはずです。
その有効性。
電力消費量と交通占有ベンチマークの両方で、真の軌道は、約95％の時間で2シグマレベルで予測される不確実性間隔内にとどまることがわかります。
潜在的な制限、パフォーマンスを改善するための調整、およびこのフレームワークを、純粋なブラウン運動や分子動力学の軌跡で観察されるように、確率的変化が蓄積する純粋または大部分の確率的ダイナミクスのプロセスにこのフレームワークを適用するための考慮事項を考慮して終わります。

要約(オリジナル)

State space models, such as Mamba, have recently garnered attention in time series forecasting due to their ability to capture sequence patterns. However, in electricity consumption benchmarks, Mamba forecasts exhibit a mean error of approximately 8\%. Similarly, in traffic occupancy benchmarks, the mean error reaches 18\%. This discrepancy leaves us to wonder whether the prediction is simply inaccurate or falls within error given spread in historical data. To address this limitation, we propose a method to quantify the predictive uncertainty of Mamba forecasts. Here, we propose a dual-network framework based on the Mamba architecture for probabilistic forecasting, where one network generates point forecasts while the other estimates predictive uncertainty by modeling variance. We abbreviate our tool, Mamba with probabilistic time series forecasting, as Mamba-ProbTSF and the code for its implementation is available on GitHub (https://github.com/PessoaP/Mamba-ProbTSF). Evaluating this approach on synthetic and real-world benchmark datasets, we find Kullback-Leibler divergence between the learned distributions and the data–which, in the limit of infinite data, should converge to zero if the model correctly captures the underlying probability distribution–reduced to the order of $10^{-3}$ for synthetic data and $10^{-1}$ for real-world benchmark, demonstrating its effectiveness. We find that in both the electricity consumption and traffic occupancy benchmark, the true trajectory stays within the predicted uncertainty interval at the two-sigma level about 95\% of the time. We end with a consideration of potential limitations, adjustments to improve performance, and considerations for applying this framework to processes for purely or largely stochastic dynamics where the stochastic changes accumulate, as observed for example in pure Brownian motion or molecular dynamics trajectories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google