A Survey on Enhancing Causal Reasoning Ability of Large Language Models

要約

大規模な言語モデル（LLM）は最近、言語タスクおよびそれ以降で顕著なパフォーマンスを示しています。
ただし、固有の因果推論能力が限られているため、LLMは、ヘルスケアや経済分析などの堅牢な因果推論能力を必要とするタスクの処理において依然として課題に直面しています。
その結果、増え続ける研究により、LLMSの因果的推論能力の向上に焦点を当てています。
活況を呈している研究にもかかわらず、この分野の課題、進歩、将来の方向を十分に検討するための調査がありません。
この重要なギャップを埋めるために、この論文のLLMSの因果推論能力を強化する方法に関する文献を体系的にレビューします。
このトピックの背景と動機の導入から始めて、この分野での重要な課題の要約が続きます。
その後、既存のメソッドを体系的に分類し、メソッドのクラス内およびクラス間の詳細な比較とともに、新しい分類を提案します。
さらに、LLMSの因果推論能力を評価するための既存のベンチマークと評価メトリックを要約します。
最後に、この新興分野の将来の研究の方向性を概説し、この地域の研究者と実践者に洞察とインスピレーションを提供します。

要約(オリジナル)

Large language models (LLMs) have recently shown remarkable performance in language tasks and beyond. However, due to their limited inherent causal reasoning ability, LLMs still face challenges in handling tasks that require robust causal reasoning ability, such as health-care and economic analysis. As a result, a growing body of research has focused on enhancing the causal reasoning ability of LLMs. Despite the booming research, there lacks a survey to well review the challenges, progress and future directions in this area. To bridge this significant gap, we systematically review literature on how to strengthen LLMs’ causal reasoning ability in this paper. We start from the introduction of background and motivations of this topic, followed by the summarisation of key challenges in this area. Thereafter, we propose a novel taxonomy to systematically categorise existing methods, together with detailed comparisons within and between classes of methods. Furthermore, we summarise existing benchmarks and evaluation metrics for assessing LLMs’ causal reasoning ability. Finally, we outline future research directions for this emerging field, offering insights and inspiration to researchers and practitioners in the area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google