Causal Inference Using LLM-Guided Discovery

要約

因果推論の中核には、観察データのみに基づいて信頼できる因果グラフを決定するという課題があります。
周知のバックドア基準はグラフに依存するため、グラフ内のエラーが下流に伝播して推論に影響を与える可能性があります。
この研究では、因果効果の推論には完全なグラフ情報は必要ないことを最初に示します。
グラフ変数上の位相順序 (因果順序) だけで十分です。
さらに、ノードのペアが与えられた場合、エッジの存在の決定は他の変数に大きく依存する可能性があるため、グラフのエッジに比べてドメインの専門家から因果的順序を引き出すのが容易です。
興味深いことに、同じ原則が GPT-3.5-turbo や GPT-4 などの大規模言語モデル (LLM) にも当てはまり、仮想ドメインの専門家として機能する LLM を使用して因果関係の順序 (したがって因果関係) を取得するための自動化された方法が動機付けられることがわかりました。
この目的を達成するために、我々はさまざまなプロンプト戦略と文脈上の合図を採用して、LLM から因果関係の順序を取得する堅牢な手法を提案します。
LLM の限界を認識し、LLM を制約ベースおよびスコアベースの方法を含む確立された因果発見アルゴリズムと統合してパフォーマンスを向上させる可能性のある手法も研究します。
広範な実験により、発見アルゴリズムと比較して、私たちのアプローチが因果順序付けの精度を大幅に向上させることが実証され、多様な分野にわたって因果推論を強化するLLMの可能性が強調されています。

要約(オリジナル)

At the core of causal inference lies the challenge of determining reliable causal graphs solely based on observational data. Since the well-known backdoor criterion depends on the graph, any errors in the graph can propagate downstream to effect inference. In this work, we initially show that complete graph information is not necessary for causal effect inference; the topological order over graph variables (causal order) alone suffices. Further, given a node pair, causal order is easier to elicit from domain experts compared to graph edges since determining the existence of an edge can depend extensively on other variables. Interestingly, we find that the same principle holds for Large Language Models (LLMs) such as GPT-3.5-turbo and GPT-4, motivating an automated method to obtain causal order (and hence causal effect) with LLMs acting as virtual domain experts. To this end, we employ different prompting strategies and contextual cues to propose a robust technique of obtaining causal order from LLMs. Acknowledging LLMs’ limitations, we also study possible techniques to integrate LLMs with established causal discovery algorithms, including constraint-based and score-based methods, to enhance their performance. Extensive experiments demonstrate that our approach significantly improves causal ordering accuracy as compared to discovery algorithms, highlighting the potential of LLMs to enhance causal inference across diverse fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google