CausalFormer: An Interpretable Transformer for Temporal Causal Discovery

要約

時間的因果関係の発見は、時系列データ内の因果関係を明らかにすることを目的とした重要なタスクです。
最新の時間的因果関係発見手法は通常、予測タスクで深層学習モデルをトレーニングして、時系列間の因果関係を明らかにします。
これらは、トレーニングされたモデルのいくつかのコンポーネントのパラメーター (注意の重みや畳み込みの重みなど) を分析することによって因果関係を捕捉します。
ただし、これはモデルパラメータから因果関係への不完全なマッピングプロセスであり、因果関係の発見にとって重要な他のコンポーネント、たとえば全結合層や活性化関数などの調査ができていません。
時間的因果関係発見における深層学習モデル全体の利用を容易にするために、我々は、因果関係認識トランスフォーマーと分解ベースの因果関係検出器で構成される、CausalFormer と呼ばれる解釈可能なトランスフォーマーベースの因果発見モデルを提案しました。
因果関係認識トランスフォーマーは、時間優先順位制約の下で時間次元に沿って各入力時系列を集約する、設計されたマルチカーネル因果畳み込みを含む予測タスクを使用して、時系列データの因果表現を学習します。
次に、分解ベースの因果関係検出器は、提案された回帰関連性伝播を使用してトレーニングされた因果関係認識トランスフォーマーのグローバル構造を解釈して、潜在的な因果関係を特定し、最終的に因果関係グラフを構築します。
合成データセット、シミュレートされたデータセット、および実際のデータセットでの実験は、時間的因果関係の発見における CausalFormer の最先端のパフォーマンスを実証します。
私たちのコードは https://github.com/lingbai-kong/CausalFormer で入手できます。

要約(オリジナル)

Temporal causal discovery is a crucial task aimed at uncovering the causal relations within time series data. The latest temporal causal discovery methods usually train deep learning models on prediction tasks to uncover the causality between time series. They capture causal relations by analyzing the parameters of some components of the trained models, e.g., attention weights and convolution weights. However, this is an incomplete mapping process from the model parameters to the causality and fails to investigate the other components, e.g., fully connected layers and activation functions, that are also significant for causal discovery. To facilitate the utilization of the whole deep learning models in temporal causal discovery, we proposed an interpretable transformer-based causal discovery model termed CausalFormer, which consists of the causality-aware transformer and the decomposition-based causality detector. The causality-aware transformer learns the causal representation of time series data using a prediction task with the designed multi-kernel causal convolution which aggregates each input time series along the temporal dimension under the temporal priority constraint. Then, the decomposition-based causality detector interprets the global structure of the trained causality-aware transformer with the proposed regression relevance propagation to identify potential causal relations and finally construct the causal graph. Experiments on synthetic, simulated, and real datasets demonstrate the state-of-the-art performance of CausalFormer on discovering temporal causality. Our code is available at https://github.com/lingbai-kong/CausalFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google