A Temporal Kolmogorov-Arnold Transformer for Time Series Forecasting

要約

多変量データ ストリーム内の複雑な時間的パターンと関係を捉えるのは困難な作業です。
私たちは、時間コルモゴロフ-アーノルド トランスフォーマー (TKAT) を提案します。これは、時間コルモゴロフ-アーノルド ネットワーク (TKAN) を使用してこのタスクに対処するように設計された、新しい注意ベースのアーキテクチャです。
TKAT は、Temporal Fusion Transformer (TFT) からインスピレーションを得て、特徴の観測された部分がアプリオリに既知の部分よりも重要であるタスクを処理するように調整された強力なエンコーダー/デコーダー モデルとして登場しました。
この新しいアーキテクチャは、コルモゴロフ-アーノルド表現の理論的基礎とトランスの力を組み合わせたものです。
TKAT は、時系列に固有の複雑な依存関係を単純化し、より「解釈しやすく」することを目的としています。
このフレームワークでトランスフォーマー アーキテクチャを使用すると、セルフ アテンション メカニズムを通じて長距離の依存関係を捉えることができます。

要約(オリジナル)

Capturing complex temporal patterns and relationships within multivariate data streams is a difficult task. We propose the Temporal Kolmogorov-Arnold Transformer (TKAT), a novel attention-based architecture designed to address this task using Temporal Kolmogorov-Arnold Networks (TKANs). Inspired by the Temporal Fusion Transformer (TFT), TKAT emerges as a powerful encoder-decoder model tailored to handle tasks in which the observed part of the features is more important than the a priori known part. This new architecture combined the theoretical foundation of the Kolmogorov-Arnold representation with the power of transformers. TKAT aims to simplify the complex dependencies inherent in time series, making them more ‘interpretable’. The use of transformer architecture in this framework allows us to capture long-range dependencies through self-attention mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google