Transformers with Sparse Attention for Granger Causality

要約

時間的因果分析とは、時間の経過とともに観察される変数の背後にある根本的な原因を理解することを意味します。
トランスフォーマーなどの深層学習ベースの手法は、単なる相関関係を超えた時間的ダイナミクスや因果関係を捉えるためにますます使用されています。
最近の研究では、変圧器の自己注意重みが因果関係の有用な指標として提案されています。
これを利用して、さまざまなラグ依存関係を持つ多変量時系列データの変数間の因果関係を確立するための自己注意モジュールへの新しい修正を提案します。
当社のスパース アテンション トランスフォーマーは、2 つのアプローチを使用して因果関係をキャプチャします。最初に一時的なアテンションを実行し、続いてタイム ステップ全体にわたる変数間のアテンションを実行し、変数を個別にマスクしてグレンジャー因果関係インデックスを計算します。
私たちのアプローチの主な新しさは、固定のタイムラグ値を手動で入力するのに対して、モデルが重要性を主張し、予測タスクのために最も重要な過去の時間インスタンスを選択できることです。
私たちは、いくつかの合成ベンチマーク データセットに対する広範な実験を通じて、アプローチの有効性を実証します。
さらに、モデルのパフォーマンスを、固定ラグ長を仮定した従来のベクトル自己回帰ベースのグレンジャー因果関係法と比較します。

要約(オリジナル)

Temporal causal analysis means understanding the underlying causes behind observed variables over time. Deep learning based methods such as transformers are increasingly used to capture temporal dynamics and causal relationships beyond mere correlations. Recent works suggest self-attention weights of transformers as a useful indicator of causal links. We leverage this to propose a novel modification to the self-attention module to establish causal links between the variables of multivariate time-series data with varying lag dependencies. Our Sparse Attention Transformer captures causal relationships using a two-fold approach – performing temporal attention first followed by attention between the variables across the time steps masking them individually to compute Granger Causality indices. The key novelty in our approach is the ability of the model to assert importance and pick the most significant past time instances for its prediction task against manually feeding a fixed time lag value. We demonstrate the effectiveness of our approach via extensive experimentation on several synthetic benchmark datasets. Furthermore, we compare the performance of our model with the traditional Vector Autoregression based Granger Causality method that assumes fixed lag length.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google