KG-RAG: Bridging the Gap Between Knowledge and Creativity

要約

大規模言語モデル エージェント (LMA) の創造的な能力を維持しながら事実の正確さを確保することは、インテリジェント エージェント システムの開発において大きな課題となります。
LMA は、情報幻覚、壊滅的な物忘れ、知識集約型タスクを扱う際の長いコンテキストの処理の制限などの一般的な問題に直面しています。
このペーパーでは、構造化されたナレッジ グラフ (KG) を LLM の機能と統合することで LMA の知識能力を強化し、潜在的なデータへの依存を大幅に削減するように設計された新しいフレームワークである KG-RAG (Knowledge Graph-Retrieval Augmented Generation) パイプラインを紹介します。
LLM に関する知識。
KG-RAG パイプラインは、非構造化テキストから KG を構築し、新しく作成されたグラフに対して情報検索を実行して、KGQA (Knowledge Graph Question Answering) を実行します。
取得方法は、KG 内のノードと関係を順番に探索する LLM 推論の恩恵を受ける、Chain of Explorations (CoE) と呼ばれる新しいアルゴリズムを活用します。
ComplexWebQuestions データセットの予備実験では、幻覚コンテンツの減少に顕著な改善が見られ、知識集約型タスクの処理に熟達したインテリジェント システムの開発に向けた有望な道筋が示唆されています。

要約(オリジナル)

Ensuring factual accuracy while maintaining the creative capabilities of Large Language Model Agents (LMAs) poses significant challenges in the development of intelligent agent systems. LMAs face prevalent issues such as information hallucinations, catastrophic forgetting, and limitations in processing long contexts when dealing with knowledge-intensive tasks. This paper introduces a KG-RAG (Knowledge Graph-Retrieval Augmented Generation) pipeline, a novel framework designed to enhance the knowledge capabilities of LMAs by integrating structured Knowledge Graphs (KGs) with the functionalities of LLMs, thereby significantly reducing the reliance on the latent knowledge of LLMs. The KG-RAG pipeline constructs a KG from unstructured text and then performs information retrieval over the newly created graph to perform KGQA (Knowledge Graph Question Answering). The retrieval methodology leverages a novel algorithm called Chain of Explorations (CoE) which benefits from LLMs reasoning to explore nodes and relationships within the KG sequentially. Preliminary experiments on the ComplexWebQuestions dataset demonstrate notable improvements in the reduction of hallucinated content and suggest a promising path toward developing intelligent systems adept at handling knowledge-intensive tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google