Rao-Blackwellising Bayesian Causal Inference

要約

ベイジアン因果推論、つまり下流の因果推論タスクで使用するための事後因果モデルの推論は、文献ではほとんど検討されていない難しい計算推論の問題を引き起こします。
この研究では、順序ベースの MCMC 構造学習の手法と勾配ベースのグラフ学習の最近の進歩を組み合わせて、効果的なベイジアン因果推論フレームワークを構築します。
具体的には、因果構造の推論の問題を、(i) 変数にわたる位相順序の推論と、(ii) 各変数の親セットの推論に分解します。
変数ごとの親の数を制限すると、多項式時間で親セットを正確に周辺化できます。
さらに、ガウス過程を使用して未知の因果メカニズムをモデル化し、正確な疎外も可能にします。
これにより、Rao-Blackwellization スキームが導入され、因果順序を除くすべてのコンポーネントがモデルから削除され、勾配ベースの最適化によって分布が学習されます。
Rao-Blackwellization と因果順序の逐次推論手順を組み合わせることで、スケールフリーおよび Erdos-Renyi グラフ構造を備えた最先端の線形および非線形加法ノイズ ベンチマークが得られます。

要約(オリジナル)

Bayesian causal inference, i.e., inferring a posterior over causal models for the use in downstream causal reasoning tasks, poses a hard computational inference problem that is little explored in literature. In this work, we combine techniques from order-based MCMC structure learning with recent advances in gradient-based graph learning into an effective Bayesian causal inference framework. Specifically, we decompose the problem of inferring the causal structure into (i) inferring a topological order over variables and (ii) inferring the parent sets for each variable. When limiting the number of parents per variable, we can exactly marginalise over the parent sets in polynomial time. We further use Gaussian processes to model the unknown causal mechanisms, which also allows their exact marginalisation. This introduces a Rao-Blackwellization scheme, where all components are eliminated from the model, except for the causal order, for which we learn a distribution via gradient-based optimisation. The combination of Rao-Blackwellization with our sequential inference procedure for causal orders yields state-of-the-art on linear and non-linear additive noise benchmarks with scale-free and Erdos-Renyi graph structures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google