BayesDAG: Gradient-Based Posterior Inference for Causal Discovery

要約

ベイジアン因果発見は、観察されたデータから因果モデル上の事後分布を推論し、認識論的不確実性を定量化し、下流のタスクに利益をもたらすことを目的としています。
ただし、有向非巡回グラフ (DAG) と非線形関数の組み合わせ空間に対する共同推論により、計算上の課題が発生します。
DAG に対する効率的な事後推論に向けた最近の進歩にも関わらず、既存の手法は線形因果モデルのノード順列行列の変分推論に限定されており、推論の精度が損なわれるか、DAG 正則化器によって制約される隣接行列を継続的に緩和するため、結果のグラフが保証されません。
DAGです。
この研究では、これらの制限を克服する、確率的勾配マルコフ連鎖モンテカルロ (SG-MCMC) と変分推論 (VI) の組み合わせに基づく、スケーラブルなベイジアン因果発見フレームワークを紹介します。
私たちのアプローチは、DAG の正則化を必要とせずに事後方向から DAG を直接サンプリングし、同時に関数パラメーターのサンプルを抽出し、線形因果モデルと非線形因果モデルの両方に適用できます。
私たちのアプローチを可能にするために、置換ベースの DAG 学習に対する新しい等価性を導出します。これにより、置換に対して定義された緩和勾配推定器を使用する可能性が開かれます。
私たちの知る限り、これは因果関係の発見に勾配ベースの MCMC サンプリングを適用した最初のフレームワークです。
合成データセットと実世界のデータセットに対する経験的評価により、最先端のベースラインと比較した場合のアプローチの有効性が実証されています。

要約(オリジナル)

Bayesian causal discovery aims to infer the posterior distribution over causal models from observed data, quantifying epistemic uncertainty and benefiting downstream tasks. However, computational challenges arise due to joint inference over combinatorial space of Directed Acyclic Graphs (DAGs) and nonlinear functions. Despite recent progress towards efficient posterior inference over DAGs, existing methods are either limited to variational inference on node permutation matrices for linear causal models, leading to compromised inference accuracy, or continuous relaxation of adjacency matrices constrained by a DAG regularizer, which cannot ensure resulting graphs are DAGs. In this work, we introduce a scalable Bayesian causal discovery framework based on a combination of stochastic gradient Markov Chain Monte Carlo (SG-MCMC) and Variational Inference (VI) that overcomes these limitations. Our approach directly samples DAGs from the posterior without requiring any DAG regularization, simultaneously draws function parameter samples and is applicable to both linear and nonlinear causal models. To enable our approach, we derive a novel equivalence to the permutation-based DAG learning, which opens up possibilities of using any relaxed gradient estimator defined over permutations. To our knowledge, this is the first framework applying gradient-based MCMC sampling for causal discovery. Empirical evaluation on synthetic and real-world datasets demonstrate our approach’s effectiveness compared to state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google