Integrating Large Language Models in Causal Discovery: A Statistical Causal Approach

要約

実用的な統計的因果発見(SCD)では、背景知識の体系的な獲得に課題があることが認識されているにもかかわらず、領域専門家の知識を制約条件としてアルゴリズムに埋め込むことが、一貫した意味のある因果モデルを作成するために重要であることが広く受け入れられている。これらの課題を克服するために、本論文では、因果推論のための新しい方法論を提案する。この方法論では、LLMのための「統計的因果プロンプト（SCP）」とSCDのための事前知識の増強を通じて、SCD手法と大規模言語モデル（LLM）を用いた知識ベース因果推論（KBCI）を合成する。実験の結果、GPT-4は、LLM-KBCIの出力と、LLM-KBCIからの事前知識によるSCDの結果を、グランドトゥルースに近づけることができ、GPT-4にSCPを施せば、SCDの結果をさらに改善できることが明らかになった。さらに、LLMがデータセットに関する情報を含んでいなくても、LLMの背景知識によってSCDを改善できることが明らかになった。このように、提案されたアプローチは、データセットの偏りや限界といった課題に対処することが可能であり、多様な科学的領域においてデータ駆動型の因果推論を改善するLLMの可能性を示している。

要約(オリジナル)

In practical statistical causal discovery (SCD), embedding domain expert knowledge as constraints into the algorithm is widely accepted as significant for creating consistent meaningful causal models, despite the recognized challenges in systematic acquisition of the background knowledge. To overcome these challenges, this paper proposes a novel methodology for causal inference, in which SCD methods and knowledge based causal inference (KBCI) with a large language model (LLM) are synthesized through ‘statistical causal prompting (SCP)’ for LLMs and prior knowledge augmentation for SCD. Experiments have revealed that GPT-4 can cause the output of the LLM-KBCI and the SCD result with prior knowledge from LLM-KBCI to approach the ground truth, and that the SCD result can be further improved, if GPT-4 undergoes SCP. Furthermore, it has been clarified that an LLM can improve SCD with its background knowledge, even if the LLM does not contain information on the dataset. The proposed approach can thus address challenges such as dataset biases and limitations, illustrating the potential of LLMs to improve data-driven causal inference across diverse scientific domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL