Causal Reasoning and Large Language Models: Opening a New Frontier for Causality

要約

タイトル: 因果推論と大規模言語モデル: 因果性の新たなフロンティアを開く

要約:
– 大規模言語モデル（LLM）の因果推論能力について重要な議論があり、医学、科学、法律、政策などの社会的に影響力のある分野でのLLMの使用に深刻な影響がある。
– 異なるタイプの因果推論タスク間の区別と、構築と測定の妥当性の複雑な脅威に注目して、LLMとその因果性の影響をより理解する。
– LLMベースの方法は、複数の因果ベンチマークで新しい最高精度を確立する。 GPT-3.5および4を基にしたアルゴリズムは、ペアワイズ因果発見タスク（97％、13ポイント増）、カウンターファクチャルリーズニングタスク（92％、20ポイント増）、および実際の因果関係（ビネットで必要かつ十分な原因を決定する場合の86％の精度）で既存のアルゴリズムを上回る。
– 同時に、LLMsは予測不可能な失敗モードを示し、その堅牢性の解釈についていくつかの技術を提供する。
– LLMsは、ヒトに制限されていると考えられていた機能、例えば収集された知識を使用して因果グラフを生成することや、自然言語から背景の因果関係を特定することができる。
– 我々は、LLMを既存の因果関係方法と併用して、人間のドメイン知識の代理として使用すること、また因果分析の設置にかかる時間を短縮するために使用することができると考えている。
– 加えて、高いリスクのシナリオでは、LLMと既存の因果的手法の間で、フォーマル化、検証、および推論の意思疎通を支援するために使用できる潜在的なツールと見なしている。
– LLMsが因果的機構についての常識とドメイン知識を捕捉し、自然言語と形式的な手法の間の翻訳をサポートすることで、因果関係の研究、実践、および採用の新しいフロンティアを開きます。

要約(オリジナル)

The causal capabilities of large language models (LLMs) is a matter of significant debate, with critical implications for the use of LLMs in societally impactful domains such as medicine, science, law, and policy. We further our understanding of LLMs and their causal implications, considering the distinctions between different types of causal reasoning tasks, as well as the entangled threats of construct and measurement validity. LLM-based methods establish new state-of-the-art accuracies on multiple causal benchmarks. Algorithms based on GPT-3.5 and 4 outperform existing algorithms on a pairwise causal discovery task (97%, 13 points gain), counterfactual reasoning task (92%, 20 points gain), and actual causality (86% accuracy in determining necessary and sufficient causes in vignettes). At the same time, LLMs exhibit unpredictable failure modes and we provide some techniques to interpret their robustness. Crucially, LLMs perform these causal tasks while relying on sources of knowledge and methods distinct from and complementary to non-LLM based approaches. Specifically, LLMs bring capabilities so far understood to be restricted to humans, such as using collected knowledge to generate causal graphs or identifying background causal context from natural language. We envision LLMs to be used alongside existing causal methods, as a proxy for human domain knowledge and to reduce human effort in setting up a causal analysis, one of the biggest impediments to the widespread adoption of causal methods. We also see existing causal methods as promising tools for LLMs to formalize, validate, and communicate their reasoning especially in high-stakes scenarios. In capturing common sense and domain knowledge about causal mechanisms and supporting translation between natural language and formal methods, LLMs open new frontiers for advancing the research, practice, and adoption of causality.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI