Causal Graphs Meet Thoughts: Enhancing Complex Reasoning in Graph-Augmented LLMs

要約

特に医学や法律などのハイステークスドメインでは、知識集約型のタスクでは、関連する情報を取得するだけでなく、因果的推論と説明可能性を提供することが重要です。
大規模な言語モデル（LLM）は、自然言語の理解と生成タスクで顕著なパフォーマンスを達成しています。
しかし、彼らはしばしば、新しい知識を取り入れ、幻覚を生み出し、推論プロセスを説明するのが難しいなどの制限に苦しんでいます。
これらの課題に対処するために、知識グラフとグラフの検索された生成（グラフrag）を統合することが効果的なソリューションとして浮上しています。
従来のグラフラグ法は、多くの場合、単純なグラフのトラバーサルまたはセマンティックの類似性に依存しています。これは、因果関係をキャプチャしたり、モデルの内部推論ステップとうまく調和していません。
このホワイトペーパーでは、大規模な知識グラフをフィルタリングして因果効果エッジを強調し、検索プロセスをモデルの考え方（COT）に合わせ、マルチステージパスの改善を通じて推論を強化する新しいパイプラインを提案します。
医学的な質問タスクに関する実験では、複数の大規模な言語モデル（LLMS）にわたって最大10 \％の絶対改善があり、一貫した利益が示されています。
このアプローチは、因果的推論と段階的な検索を組み合わせることの価値を示しており、複雑なクエリに対してより解釈可能で論理的に接地されたソリューションにつながります。

要約(オリジナル)

In knowledge-intensive tasks, especially in high-stakes domains like medicine and law, it is critical not only to retrieve relevant information but also to provide causal reasoning and explainability. Large language models (LLMs) have achieved remarkable performance in natural language understanding and generation tasks. However, they often suffer from limitations such as difficulty in incorporating new knowledge, generating hallucinations, and explaining their reasoning process. To address these challenges, integrating knowledge graphs with Graph Retrieval-Augmented Generation (Graph RAG) has emerged as an effective solution. Traditional Graph RAG methods often rely on simple graph traversal or semantic similarity, which do not capture causal relationships or align well with the model’s internal reasoning steps. This paper proposes a novel pipeline that filters large knowledge graphs to emphasize cause-effect edges, aligns the retrieval process with the model’s chain-of-thought (CoT), and enhances reasoning through multi-stage path improvements. Experiments on medical question-answering tasks show consistent gains, with up to a 10\% absolute improvement across multiple large language models (LLMs). This approach demonstrates the value of combining causal reasoning with stepwise retrieval, leading to more interpretable and logically grounded solutions for complex queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google