LLM-Based Multi-Hop Question Answering with Knowledge Graph Integration in Evolving Environments

要約

大規模言語モデル (LLM) の知識を最新の状態に保つという重要な課題は、新しい事実を組み込むためのさまざまな方法の開発につながりました。
しかし、そのような知識編集のための既存の方法は、特に多数の事実更新の中で、正確な事実識別と逐次的な論理的推論を必要とするマルチホップ質問に関して依然として困難に直面しています。
これらの課題に取り組むために、この文書では、ナレッジ グラフ (KG) の明示的知識表現と LLM の言語的柔軟性を統合する簡単で効果的な方法である、大規模言語モデルのためのグラフ メモリベースの編集 (GMeLLo) を紹介します。
GMeLLo は単に質問応答に LLM を利用するだけでなく、これらのモデルを採用して自由形式の言語を構造化されたクエリとファクト トリプルに変換し、KG とのシームレスな対話を促進して、迅速な更新と正確なマルチホップ推論を実現します。
私たちの結果は、GMeLLo が、特に広範な知識編集を伴うシナリオにおいて、マルチホップ質問応答ベンチマーク MQuAKE における現在の最先端 (SOTA) 知識編集手法を大幅に上回っていることを示しています。

要約(オリジナル)

The important challenge of keeping knowledge in Large Language Models (LLMs) up-to-date has led to the development of various methods for incorporating new facts. However, existing methods for such knowledge editing still face difficulties with multi-hop questions that require accurate fact identification and sequential logical reasoning, particularly among numerous fact updates. To tackle these challenges, this paper introduces Graph Memory-based Editing for Large Language Models (GMeLLo), a straightforward and effective method that merges the explicit knowledge representation of Knowledge Graphs (KGs) with the linguistic flexibility of LLMs. Beyond merely leveraging LLMs for question answering, GMeLLo employs these models to convert free-form language into structured queries and fact triples, facilitating seamless interaction with KGs for rapid updates and precise multi-hop reasoning. Our results show that GMeLLo significantly surpasses current state-of-the-art (SOTA) knowledge editing methods in the multi-hop question answering benchmark, MQuAKE, especially in scenarios with extensive knowledge edits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google