Think-on-Graph 2.0: Deep and Interpretable Large Language Model Reasoning with Knowledge Graph-guided Retrieval

要約

検索拡張生成 (RAG) は、動的な情報検索を可能にし、生成されたコンテンツにおける知識のギャップや幻覚を軽減することで、大幅に高度な大規模言語モデル (LLM) を備えています。
ただし、これらのシステムは、複雑な推論とさまざまなクエリにわたる一貫性でうまくいかないことがよくあります。
この研究では、質問をナレッジ グラフに合わせてナビゲーション ツールとして使用する、強化された RAG フレームワークである Think-on-Graph 2.0 を紹介します。これにより、情報の収集と統合のための RAG パラダイムが深化および洗練されます。
KG ガイドによるナビゲーションは、論理的な一貫性を維持し、精度と相互運用性のために検索範囲を最適化するために、深く長距離の関連付けを促進します。
併せて、正確な指示に基づいた意味上の類似性を通じて、事実の一貫性をより確実に確保できます。
ToG${2.0}$ は、LLM の応答の精度と信頼性を向上させるだけでなく、ハイブリッド構造化知識システムが LLM 推論を大幅に進歩させ、人間のようなパフォーマンスに近づける可能性を実証します。
私たちは、ベースラインと比較して私たちの方法の利点を実証するために、4 つの公開データセットに対して広範な実験を実施しました。

要約(オリジナル)

Retrieval-augmented generation (RAG) has significantly advanced large language models (LLMs) by enabling dynamic information retrieval to mitigate knowledge gaps and hallucinations in generated content. However, these systems often falter with complex reasoning and consistency across diverse queries. In this work, we present Think-on-Graph 2.0, an enhanced RAG framework that aligns questions with the knowledge graph and uses it as a navigational tool, which deepens and refines the RAG paradigm for information collection and integration. The KG-guided navigation fosters deep and long-range associations to uphold logical consistency and optimize the scope of retrieval for precision and interoperability. In conjunction, factual consistency can be better ensured through semantic similarity guided by precise directives. ToG${2.0}$ not only improves the accuracy and reliability of LLMs’ responses but also demonstrates the potential of hybrid structured knowledge systems to significantly advance LLM reasoning, aligning it closer to human-like performance. We conducted extensive experiments on four public datasets to demonstrate the advantages of our method compared to the baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google