Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning

要約

大規模な言語モデル（LLM）は、さまざまなタスクで印象的な結果を達成していますが、特に深い複雑な推論と知識集約的なタスクでは、幻覚の問題と関連する知識の欠如に苦労しています。
構造化された形式で膨大な量の事実をキャプチャする知識グラフ（KG）は、推論のために信頼できる知識源を提供します。
ただし、既存のKGベースのLLM推論方法は、マルチホップの推論、マルチエンティティの質問の処理、グラフ構造の効果的な利用などの課題に直面しています。
これらの問題に対処するために、KGSからの知識推論パスを統合し、LLM出力の解釈性と忠実さを改善することによりLLMの推論を強化する新しい方法であるPath-over-graph（POG）を提案します。
POGは、LLMの固有の知識とKGSからの事実知識を組み合わせた3フェーズの動的マルチホップパス探索を通じて、マルチホップとマルチエンティティの質問とマルチエンティティの質問をタックします。
効率を向上させるために、POGプルーネは最初にグラフ探索からの無関係な情報を導入し、グラフ構造、LLMプロンプト、および事前に訓練された言語モデル（例えば、Sbert）を組み込んだ効率的な3段階の剪定技術を導入して、探索したものを効果的に絞り込みます
候補パス。
これにより、すべての推論パスには、KGSからキャプチャされた非常に関連性の高い情報が含まれ、問題解決において忠実で解釈可能な推論が含まれます。
POGは、革新的なノイズを整理するためにグラフ構造を革新的に利用し、LLMの推論タスクのためにKGSで多施設ディープパス検出を実装する最初の方法を表します。
5つのベンチマークKGQAデータセットでの包括的な実験は、POGがGPT-3.5-ターボとGPT-4を介して最先端の方法を上回ることを示しており、平均精度改善を18.9％に達成します。
特に、GPT-3.5ターボのPOGは、GPT-4を最大23.9％上回ります。

要約(オリジナル)

Large Language Models (LLMs) have achieved impressive results in various tasks but struggle with hallucination problems and lack of relevant knowledge, especially in deep complex reasoning and knowledge-intensive tasks. Knowledge Graphs (KGs), which capture vast amounts of facts in a structured format, offer a reliable source of knowledge for reasoning. However, existing KG-based LLM reasoning methods face challenges like handling multi-hop reasoning, multi-entity questions, and effectively utilizing graph structures. To address these issues, we propose Paths-over-Graph (PoG), a novel method that enhances LLM reasoning by integrating knowledge reasoning paths from KGs, improving the interpretability and faithfulness of LLM outputs. PoG tackles multi-hop and multi-entity questions through a three-phase dynamic multi-hop path exploration, which combines the inherent knowledge of LLMs with factual knowledge from KGs. In order to improve the efficiency, PoG prunes irrelevant information from the graph exploration first and introduces efficient three-step pruning techniques that incorporate graph structures, LLM prompting, and a pre-trained language model (e.g., SBERT) to effectively narrow down the explored candidate paths. This ensures all reasoning paths contain highly relevant information captured from KGs, making the reasoning faithful and interpretable in problem-solving. PoG innovatively utilizes graph structure to prune the irrelevant noise and represents the first method to implement multi-entity deep path detection on KGs for LLM reasoning tasks. Comprehensive experiments on five benchmark KGQA datasets demonstrate PoG outperforms the state-of-the-art method ToG across GPT-3.5-Turbo and GPT-4, achieving an average accuracy improvement of 18.9%. Notably, PoG with GPT-3.5-Turbo surpasses ToG with GPT-4 by up to 23.9%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google