DAG-aware Transformer for Causal Effect Estimation

要約

因果関係の推論は、医療、経済、社会科学などの分野にわたって重要なタスクです。
機械学習、特に深層学習アーキテクチャに基づく機械学習の最近の進歩は、因果効果の推定において可能性を示していますが、既存のアプローチでは、複雑な因果構造の処理において不十分なことが多く、さまざまな因果シナリオにわたる適応性に欠けています。
この論文では、これらの課題を克服する、因果推論のための新しいトランスフォーマーベースの方法を紹介します。
私たちのモデルの中心的な革新は、因果有向非巡回グラフ (DAG) を注意メカニズムに直接統合し、根底にある因果構造を正確にモデル化できるようにすることにあります。
これにより、平均治療効果 (ATE) と条件付き平均治療効果 (CATE) の両方を柔軟に推定することができます。
合成データセットと現実世界のデータセットの両方に対する広範な実験により、私たちのアプローチが幅広いシナリオにわたる因果関係の推定において既存の手法を上回ることが実証されました。
私たちのモデルは柔軟性と堅牢性を備えているため、複雑な因果推論問題に取り組む研究者や実践者にとって貴重なツールとなります。

要約(オリジナル)

Causal inference is a critical task across fields such as healthcare, economics, and the social sciences. While recent advances in machine learning, especially those based on the deep-learning architectures, have shown potential in estimating causal effects, existing approaches often fall short in handling complex causal structures and lack adaptability across various causal scenarios. In this paper, we present a novel transformer-based method for causal inference that overcomes these challenges. The core innovation of our model lies in its integration of causal Directed Acyclic Graphs (DAGs) directly into the attention mechanism, enabling it to accurately model the underlying causal structure. This allows for flexible estimation of both average treatment effects (ATE) and conditional average treatment effects (CATE). Extensive experiments on both synthetic and real-world datasets demonstrate that our approach surpasses existing methods in estimating causal effects across a wide range of scenarios. The flexibility and robustness of our model make it a valuable tool for researchers and practitioners tackling complex causal inference problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google