An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge Graph-Integrated Collaboration

要約

大規模言語モデル (LLM) は、多数の自然言語処理 (NLP) タスクで優れたパフォーマンスを示しますが、実際のアプリケーションでは、幻覚の問題、不十分な知識の更新、推論プロセスの透明性の制限などの課題に直面します。
これらの制限を克服するために、この研究では、Knowledge Graph (KG) と LLM の間の緊密な連携を伴う、トレーニング不要の協調的な推論スキームを革新的に提案します。
このスキームではまず、LLM を使用して KG を反復的に探索し、推論をサポートするタスク関連の知識サブグラフを選択的に取得します。
次に、LLM は、推論プロセスを明示的に解明しながら、固有の暗黙の知識をさらに組み合わせてサブグラフ上で推論するように誘導されます。
このような協調的なアプローチを通じて、私たちのスキームはより信頼性の高い知識ベースの推論を実現し、推論結果の追跡を容易にします。
実験結果は、私たちのスキームが複数のデータセットにわたって大幅に進歩し、特に、最良のベースラインおよび微調整された最先端 (SOTA) の研究と比較して、QALD10 データセットで 10% 以上の改善を達成したことを示しています。
この成功に基づいて、この研究はKGとLLMの融合における将来の研究に貴重な参考資料を提供し、それによって複雑な問題を解決するLLMの能力を向上させることを望んでいます。

要約(オリジナル)

While Large Language Models (LLMs) demonstrate exceptional performance in a multitude of Natural Language Processing (NLP) tasks, they encounter challenges in practical applications, including issues with hallucinations, inadequate knowledge updating, and limited transparency in the reasoning process. To overcome these limitations, this study innovatively proposes a collaborative training-free reasoning scheme involving tight cooperation between Knowledge Graph (KG) and LLMs. This scheme first involves using LLMs to iteratively explore KG, selectively retrieving a task-relevant knowledge subgraph to support reasoning. The LLMs are then guided to further combine inherent implicit knowledge to reason on the subgraph while explicitly elucidating the reasoning process. Through such a cooperative approach, our scheme achieves more reliable knowledge-based reasoning and facilitates the tracing of the reasoning results. Experimental results show that our scheme significantly progressed across multiple datasets, notably achieving over a 10% improvement on the QALD10 dataset compared to the best baseline and the fine-tuned state-of-the-art (SOTA) work. Building on this success, this study hopes to offer a valuable reference for future research in the fusion of KG and LLMs, thereby enhancing LLMs’ proficiency in solving complex issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google