Diffusion Models for Causal Discovery via Topological Ordering

要約

関数関係が加法性ノイズ (ANM) を伴う非線形として制約されると考えるなど、追加の仮定を追加することで、観測データから因果関係を発見することが可能になります。
強い仮定がある場合でも、因果関係の発見には、有向非巡回グラフ (DAG) の空間にわたる高価な検索問題が伴います。
\emph{位相的順序付け} アプローチは、グラフ空間ではなく順列を検索することにより、因果関係発見の最適化空間を削減します。
ANM の場合、データの対数尤度の \emph{Hessian} を使用して因果関係グラフ内の葉ノードを見つけることができ、そのトポロジカルな順序付けが可能になります。
ただし、ヘッセ行列を取得するための既存の計算方法は、変数の数とサンプルの数が増加しても、依然として拡張できません。
したがって、拡散確率モデル (DPM) の最近の革新に触発されて、\emph{DiffAN}\footnote{実装は \url{https://github.com/vios-s/DiffAN} で利用できます。} というトポロジカルなモデルを提案します。
ヘッセ関数を学習するために DPM を利用する順序付けアルゴリズム。
ニューラル ネットワークを再トレーニングすることなく、学習されたヘッセ行列を更新する理論を導入し、サンプルのサブセットを使用して計算すると順序付けの正確な近似が得られ、より多くのサンプルと変数を含むデータセットにスケーリングできることを示します。
私たちの手法は、最先端の因果発見手法を使用して、小規模なデータセットと同等のパフォーマンスを維持しながら、最大 $500$ のノードと最大 $10^5$ のサンプルを含むデータセットに非常にうまく拡張できることを経験的に示しています。
実装は https://github.com/vios-s/DiffAN で入手できます。

要約(オリジナル)

Discovering causal relations from observational data becomes possible with additional assumptions such as considering the functional relations to be constrained as nonlinear with additive noise (ANM). Even with strong assumptions, causal discovery involves an expensive search problem over the space of directed acyclic graphs (DAGs). \emph{Topological ordering} approaches reduce the optimisation space of causal discovery by searching over a permutation rather than graph space. For ANMs, the \emph{Hessian} of the data log-likelihood can be used for finding leaf nodes in a causal graph, allowing its topological ordering. However, existing computational methods for obtaining the Hessian still do not scale as the number of variables and the number of samples increase. Therefore, inspired by recent innovations in diffusion probabilistic models (DPMs), we propose \emph{DiffAN}\footnote{Implementation is available at \url{https://github.com/vios-s/DiffAN} .}, a topological ordering algorithm that leverages DPMs for learning a Hessian function. We introduce theory for updating the learned Hessian without re-training the neural network, and we show that computing with a subset of samples gives an accurate approximation of the ordering, which allows scaling to datasets with more samples and variables. We show empirically that our method scales exceptionally well to datasets with up to $500$ nodes and up to $10^5$ samples while still performing on par over small datasets with state-of-the-art causal discovery methods. Implementation is available at https://github.com/vios-s/DiffAN .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google