Foundation Models for Causal Inference via Prior-Data Fitted Networks

要約

以前のデータフィットネットワーク（PFN）は、最近、表形式の基礎モデルを訓練する有望な方法として提案されています。
PFNは、事前に指定された事前分布から生成された合成データで事前に訓練された変圧器であり、コンテキスト内学習を通じてベイジアン推論を可能にします。
この論文では、さまざまな因果推論設定でPFNベースの基礎モデルをトレーニングするための包括的なフレームワークであるCasualFMを紹介します。
まず、原則的な方法で構造因果モデル（SCM）に基づいた因果推論のためのベイジアン事前層の構築を正式にし、そのような事前症の妥当性に必要な基準を導き出します。
これに基づいて、因果関係に触発されたベイジアンニューラルネットワークを使用して、因果関係を使用して、バックドア、フロントドア、機器の可変調整など、さまざまな設定でベイジアン因果推論を実行できるようにする、以前の分布の新しいファミリーを提案します。
最後に、因果関係をインスタンス化し、バックドア調整を使用して条件付き平均治療効果（CATES）を推定するための基礎モデルを明示的にトレーニングします。
因果関係は、さまざまな合成および半合成ベンチマークを使用して、CATE推定のために競合することを示しています。
要するに、私たちのフレームワークは、さまざまな因果推論設定の基礎モデルをトレーニングするための一般的なレシピとして使用できます。
現在の最先端の因果推論とは対照的に、因果関係は、医学、経済学、およびその他の分野における因果的推論を根本的に変える可能性のある新しいパラダイムを提供します。

要約(オリジナル)

Prior-data fitted networks (PFNs) have recently been proposed as a promising way to train tabular foundation models. PFNs are transformers that are pre-trained on synthetic data generated from a prespecified prior distribution and that enable Bayesian inference through in-context learning. In this paper, we introduce CausalFM, a comprehensive framework for training PFN-based foundation models in various causal inference settings. First, we formalize the construction of Bayesian priors for causal inference based on structural causal models (SCMs) in a principled way and derive necessary criteria for the validity of such priors. Building on this, we propose a novel family of prior distributions using causality-inspired Bayesian neural networks that enable CausalFM to perform Bayesian causal inference in various settings, including back-door, front-door, and instrumental variable adjustment. Finally, we instantiate CausalFM and explicitly train a foundation model for estimating conditional average treatment effects (CATEs) using back-door adjustment. We show that CausalFM performs competitively for CATE estimation using various synthetic and semi-synthetic benchmarks. In sum, our framework can be used as a general recipe to train foundation models for various causal inference settings. In contrast to the current state-of-the-art in causal inference, CausalFM offers a novel paradigm with the potential to fundamentally change how practitioners perform causal inference in medicine, economics, and other disciplines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google