Learning to Forget: Bayesian Time Series Forecasting using Recurrent Sparse Spectrum Signature Gaussian Processes

要約

シグネチャ カーネルは、任意の長さの時系列間のカーネルであり、確率分析による強力な理論的保証が付いています。
ガウス過程の共分散関数などの機械学習への応用が見出されています。
基礎となる署名機能の強みは、時系列の構造化されたグローバルな説明を提供することです。
ただし、地元の情報が不可欠であり、忘れる必要がある場合、この特性はすぐに呪いになる可能性があります。
これまでのところ、これは時系列をサブセグメントにスライスするなどのアドホックな方法でのみ対処されています。
これを克服するために、署名の新しい忘却メカニズムを導入することにより、原則に基づいたデータ駆動型のアプローチを提案します。
これにより、モデルはコンテキストの長さを動的に調整して、より最近の情報に焦点を当てることができます。
これを達成するために、最近導入されたランダム フーリエ署名特徴を再検討し、ガウス プロセス (GP) を使用したランダム フーリエ減衰署名特徴 (RFDSF) を開発します。
これにより、変分推論を備えたベイジアン時系列予測アルゴリズムが実現します。これは、再帰を使用して 1 回のパスで時系列を処理し、タイム ステップにわたる同時予測分布に変換する、スケーラブルな確率的アルゴリズムを提供します。
たとえば、長さ $10^4$ のシーケンスを $\およそ 10^{-2}$ 秒、$< 1\text{GB}$ の GPU メモリで処理します。 私たちは、このアルゴリズムが他の GP ベースの代替案よりも優れたパフォーマンスを示し、最先端の確率的時系列予測アルゴリズムと競合することを実証します。

要約(オリジナル)

The signature kernel is a kernel between time series of arbitrary length and comes with strong theoretical guarantees from stochastic analysis. It has found applications in machine learning such as covariance functions for Gaussian processes. A strength of the underlying signature features is that they provide a structured global description of a time series. However, this property can quickly become a curse when local information is essential and forgetting is required; so far this has only been addressed with ad-hoc methods such as slicing the time series into subsegments. To overcome this, we propose a principled, data-driven approach by introducing a novel forgetting mechanism for signatures. This allows the model to dynamically adapt its context length to focus on more recent information. To achieve this, we revisit the recently introduced Random Fourier Signature Features, and develop Random Fourier Decayed Signature Features (RFDSF) with Gaussian processes (GPs). This results in a Bayesian time series forecasting algorithm with variational inference, that offers a scalable probabilistic algorithm that processes and transforms a time series into a joint predictive distribution over time steps in one pass using recurrence. For example, processing a sequence of length $10^4$ steps in $\approx 10^{-2}$ seconds and in $< 1\text{GB}$ of GPU memory. We demonstrate that it outperforms other GP-based alternatives and competes with state-of-the-art probabilistic time series forecasting algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google