CausalBench: A Comprehensive Benchmark for Causal Learning Capability of Large Language Models

要約

因果関係は、現実世界のシナリオにおけるデータ分布の背後にある基本原理を明らかにし、因果関係を理解する大規模言語モデル (LLM) の機能は、出力の説明、新しい証拠への適応、および反事実の生成における有効性に直接影響します。
LLM の普及に伴い、この能力の評価がますます注目を集めています。
しかし、包括的なベンチマークがないため、既存の評価研究は単純で、多様性がなく、同質なものになっています。
これらの課題に対処するために、この文書では、LLM の因果関係理解能力を評価するための包括的なベンチマーク、つまり CausalBench を提案します。
因果研究コミュニティから生まれた CausalBench には、LLM のパフォーマンスと従来の因果学習アルゴリズムとの便利な比較を容易にする 3 つの因果学習関連タスクが含まれています。
一方、さまざまな規模と密度の因果ネットワークが CausalBench に統合され、さまざまな難易度のタスク シナリオ全体で LLM の能力の上限を調査します。
特に、背景知識と構造化データも CausalBench に組み込まれており、長文の理解と事前情報の活用に関する LLM の潜在的な可能性を徹底的に解き放ちます。
このペーパーでは、CausalBench に基づいて 19 の主要な LLM を評価し、さまざまな側面で洞察に満ちた結論を明らかにしています。
まず、LLM の長所と短所を示し、さまざまなシナリオにわたる LLM の能力の上限を定量的に調査します。
その一方で、私たちは特定の構造ネットワークと複雑な思考連鎖構造に対するLLMの適応性と能力をさらに識別します。
さらに、この論文は、多様な情報源間の違いを定量的に示し、テキストの文脈と数値領域内での因果理解におけるLLMの能力間のギャップを明らかにします。

要約(オリジナル)

Causality reveals fundamental principles behind data distributions in real-world scenarios, and the capability of large language models (LLMs) to understand causality directly impacts their efficacy across explaining outputs, adapting to new evidence, and generating counterfactuals. With the proliferation of LLMs, the evaluation of this capacity is increasingly garnering attention. However, the absence of a comprehensive benchmark has rendered existing evaluation studies being straightforward, undiversified, and homogeneous. To address these challenges, this paper proposes a comprehensive benchmark, namely CausalBench, to evaluate the causality understanding capabilities of LLMs. Originating from the causal research community, CausalBench encompasses three causal learning-related tasks, which facilitate a convenient comparison of LLMs’ performance with classic causal learning algorithms. Meanwhile, causal networks of varying scales and densities are integrated in CausalBench, to explore the upper limits of LLMs’ capabilities across task scenarios of varying difficulty. Notably, background knowledge and structured data are also incorporated into CausalBench to thoroughly unlock the underlying potential of LLMs for long-text comprehension and prior information utilization. Based on CausalBench, this paper evaluates nineteen leading LLMs and unveils insightful conclusions in diverse aspects. Firstly, we present the strengths and weaknesses of LLMs and quantitatively explore the upper limits of their capabilities across various scenarios. Meanwhile, we further discern the adaptability and abilities of LLMs to specific structural networks and complex chain of thought structures. Moreover, this paper quantitatively presents the differences across diverse information sources and uncovers the gap between LLMs’ capabilities in causal understanding within textual contexts and numerical domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google