LLM-initialized Differentiable Causal Discovery

要約

確率変数間の因果関係の発見は、多くの科学分野に応用できる重要かつ困難な問題です。
微分可能因果発見 (DCD) 手法は、観察データから因果関係を明らかにするのに効果的です。
ただし、これらのアプローチは解釈可能性が限られていることが多く、ドメイン固有の事前知識を組み込む際に課題に直面します。
対照的に、大規模言語モデル (LLM) ベースの因果発見アプローチは、因果発見に有用な事前分布を提供できるものの、形式的な因果推論には苦労することが最近示されています。
この論文では、LLM を使用して DCD アプローチの最尤目的関数の最適化を初期化し、それによって強力な事前分布を発見方法に組み込む LLM-DCD を提案します。
この初期化を達成するために、唯一の変分パラメーターとして明示的に定義された因果グラフの隣接行列に依存するように目的関数を設計します。
明示的に定義された隣接行列を直接最適化すると、因果関係を発見するためのより解釈しやすいアプローチが提供されます。
さらに、最先端の代替手段と比較して、当社のアプローチの主要なベンチマーク データセットの精度が高いことを実証し、初期化の品質が DCD アプローチの最終出力の品質に直接影響するという経験的証拠を提供します。
LLM-DCD は、DCD のような従来の因果関係発見手法に、LLM の因果推論機能の将来の改善による恩恵をもたらす新たな機会をもたらします。

要約(オリジナル)

The discovery of causal relationships between random variables is an important yet challenging problem that has applications across many scientific domains. Differentiable causal discovery (DCD) methods are effective in uncovering causal relationships from observational data; however, these approaches often suffer from limited interpretability and face challenges in incorporating domain-specific prior knowledge. In contrast, Large Language Models (LLMs)-based causal discovery approaches have recently been shown capable of providing useful priors for causal discovery but struggle with formal causal reasoning. In this paper, we propose LLM-DCD, which uses an LLM to initialize the optimization of the maximum likelihood objective function of DCD approaches, thereby incorporating strong priors into the discovery method. To achieve this initialization, we design our objective function to depend on an explicitly defined adjacency matrix of the causal graph as its only variational parameter. Directly optimizing the explicitly defined adjacency matrix provides a more interpretable approach to causal discovery. Additionally, we demonstrate higher accuracy on key benchmarking datasets of our approach compared to state-of-the-art alternatives, and provide empirical evidence that the quality of the initialization directly impacts the quality of the final output of our DCD approach. LLM-DCD opens up new opportunities for traditional causal discovery methods like DCD to benefit from future improvements in the causal reasoning capabilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google