A Fixed-Point Approach for Causal Generative Modeling

要約

我々は、構造的因果モデル (SCM) を因果的に順序付けされた変数上の固定小数点問題として記述するための新しい形式主義を提案し、有向非巡回グラフ (DAG) の必要性を排除し、位相的順序付け (TO
）。
これに基づいて、まずゼロショット方式で観測値から有効な TO を推論し、次に順序付き変数の生成 SCM を学習する 2 段階の因果生成モデルを設計します。
TO を推論するために、トレーニング中に表示されるグラフの葉を順次予測することによって、合成的に生成されたデータセットでの TO の学習を償却することを提案します。
SCM を学習するために、因果構造のモデリングを可能にする新しいアテンション メカニズムを活用するトランスフォーマー ベースのアーキテクチャを設計し、このパラメーター化が私たちの形式主義と一致することを示します。
最後に、各手法を個別に広範な評価を実施し、組み合わせた場合、生成された分布外の問題に関してモデルがさまざまなベースラインを上回るパフォーマンスを示すことを示します。
コードは \href{https://github.com/microsoft/causica/tree/main/research_experiments/fip}{Github} で入手できます。

要約(オリジナル)

We propose a novel formalism for describing Structural Causal Models (SCMs) as fixed-point problems on causally ordered variables, eliminating the need for Directed Acyclic Graphs (DAGs), and establish the weakest known conditions for their unique recovery given the topological ordering (TO). Based on this, we design a two-stage causal generative model that first infers in a zero-shot manner a valid TO from observations, and then learns the generative SCM on the ordered variables. To infer TOs, we propose to amortize the learning of TOs on synthetically generated datasets by sequentially predicting the leaves of graphs seen during training. To learn SCMs, we design a transformer-based architecture that exploits a new attention mechanism enabling the modeling of causal structures, and show that this parameterization is consistent with our formalism. Finally, we conduct an extensive evaluation of each method individually, and show that when combined, our model outperforms various baselines on generated out-of-distribution problems. The code is available on \href{https://github.com/microsoft/causica/tree/main/research_experiments/fip}{Github}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google