Structured Thinking Matters: Improving LLMs Generalization in Causal Inference Tasks

要約

この分野での顕著な進歩にもかかわらず、LLMは因果関係を相関と区別する上で信頼できないままです。
Corr2Caus Dataset Benchmarkの最近の結果は、GPT-4（F1スコア：29.08）などの最先端のLLMがランダムベースラインをわずかに上回っていることを明らかにしています（ランダム均一、F1スコア：20.38）。
この制限に取り組むために、新しい構造化されたアプローチを提案します。因果質問に直接答えるのではなく、モデルを構成する能力をモデルに構成する能力を提供し、モデルを構造化された知識グラフを構築し、因果関係のクエリに答えるために体系的にエンコードします。
この中間表現は、モデルの因果能力を大幅に向上させます。
QWEN3-32Bモデル（推論モデル）を使用したCorr2Caus Dataset Benchmarkのテストサブセットでの実験は、標準的な直接プロンプトメソッドを大幅に増加させ、F1スコアを32.71から48.26（相対的な増加47.5％以上）に改善し、精度とリコールでの顕著な改善を伴います。
これらの結果は、モデルにその考え方を構築する能力を提供し、多様な因果推論タスク全体のより広範な一般化のその有望な可能性を強調する有効性を強調しています。

要約(オリジナル)

Despite remarkable advances in the field, LLMs remain unreliable in distinguishing causation from correlation. Recent results from the Corr2Cause dataset benchmark reveal that state-of-the-art LLMs — such as GPT-4 (F1 score: 29.08) — only marginally outperform random baselines (Random Uniform, F1 score: 20.38), indicating limited capacity of generalization. To tackle this limitation, we propose a novel structured approach: rather than directly answering causal queries, we provide the model with the capability to structure its thinking by guiding the model to build a structured knowledge graph, systematically encoding the provided correlational premises, to answer the causal queries. This intermediate representation significantly enhances the model’s causal capabilities. Experiments on the test subset of the Corr2Cause dataset benchmark with Qwen3-32B model (reasoning model) show substantial gains over standard direct prompting methods, improving F1 scores from 32.71 to 48.26 (over 47.5% relative increase), along with notable improvements in precision and recall. These results underscore the effectiveness of providing the model with the capability to structure its thinking and highlight its promising potential for broader generalization across diverse causal inference tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google