KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph

要約

大規模言語モデル (LLM) は、強力な自然言語理解とゼロショット機能により、さまざまな下流タスクで優れたパフォーマンスを達成していますが、依然として知識の限界に悩まされています。
特に、長い論理チェーンや複雑な推論を必要とするシナリオでは、LLM の幻覚と知識の制限により、質問応答 (QA) のパフォーマンスが制限されます。
この論文では、ナレッジ グラフから外部知識を効率的かつ正確に取得し、それを LLM 推論を強化するための重要な要素として使用することで、これらの課題に対処する新しいフレームワーク KnowledgeNavigator を提案します。
具体的には、KnowledgeNavigator はまず、与えられた質問の潜在的な制約を掘り起こして強化し、推論を導きます。
次に、LLM と質問のガイダンスによるナレッジ グラフ上の反復推論による回答をサポートする外部ナレッジを取得し、フィルタリングします。
最後に、KnowledgeNavigator は、構造化された知識を、LLM にとって推論を助ける効果的なプロンプトに構築します。
私たちは、複数の公開 KGQA ベンチマークで KnowledgeNavigator を評価しました。実験では、このフレームワークが優れた有効性と汎用性を備え、以前のナレッジ グラフで強化された LLM 手法を上回り、完全に教師ありモデルに匹敵することが示されました。

要約(オリジナル)

Large language model (LLM) has achieved outstanding performance on various downstream tasks with its powerful natural language understanding and zero-shot capability, but LLM still suffers from knowledge limitation. Especially in scenarios that require long logical chains or complex reasoning, the hallucination and knowledge limitation of LLM limit its performance in question answering (QA). In this paper, we propose a novel framework KnowledgeNavigator to address these challenges by efficiently and accurately retrieving external knowledge from knowledge graph and using it as a key factor to enhance LLM reasoning. Specifically, KnowledgeNavigator first mines and enhances the potential constraints of the given question to guide the reasoning. Then it retrieves and filters external knowledge that supports answering through iterative reasoning on knowledge graph with the guidance of LLM and the question. Finally, KnowledgeNavigator constructs the structured knowledge into effective prompts that are friendly to LLM to help its reasoning. We evaluate KnowledgeNavigator on multiple public KGQA benchmarks, the experiments show the framework has great effectiveness and generalization, outperforming previous knowledge graph enhanced LLM methods and is comparable to the fully supervised models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google