KARPA: A Training-free Method of Adapting Knowledge Graph as References for Large Language Model’s Reasoning Path Aggregation

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって優れたパフォーマンスを示しますが、幻覚や知識の適時性の影響を受けることがよくあります。
外部知識ソースとしてナレッジ グラフ (KG) を活用することが実行可能なソリューションとして浮上していますが、LLM ベースのナレッジ グラフ質問応答 (KGQA) の既存の方法は、KG に関する段階的な意思決定によって制限されることが多く、グローバルな計画が制限されます。
LLM の推論能力、または特定の KG での微調整または事前トレーニングが必要です。
これらの課題に対処するために、私たちは、効率的かつ正確な KG 推論のために LLM のグローバル プランニング能力を活用する新しいフレームワークであるナレッジ グラフ支援推論パス集約 (KARPA) を提案します。
KARPA は 3 つのステップで動作します。LLM のグローバル プランニング機能を使用して関係パスを事前に計画し、埋め込みモデルを介して意味的に関連するパスを照合し、これらのパスを推論して答えを生成します。
既存の KGQA 手法とは異なり、KARPA は段階的なトラバーサルを回避し、追加のトレーニングを必要とせず、さまざまな LLM アーキテクチャに適応できます。
広範な実験結果は、KARPA が KGQA タスクで最先端のパフォーマンスを達成し、高い効率と精度の両方を実現することを示しています。
私たちのコードは Github で入手できるようになります。

要約(オリジナル)

Large language models (LLMs) demonstrate exceptional performance across a variety of tasks, yet they are often affected by hallucinations and the timeliness of knowledge. Leveraging knowledge graphs (KGs) as external knowledge sources has emerged as a viable solution, but existing methods for LLM-based knowledge graph question answering (KGQA) are often limited by step-by-step decision-making on KGs, restricting the global planning and reasoning capabilities of LLMs, or they require fine-tuning or pre-training on specific KGs. To address these challenges, we propose Knowledge graph Assisted Reasoning Path Aggregation (KARPA), a novel framework that harnesses the global planning abilities of LLMs for efficient and accurate KG reasoning. KARPA operates in three steps: pre-planning relation paths using the LLM’s global planning capabilities, matching semantically relevant paths via an embedding model, and reasoning over these paths to generate answers. Unlike existing KGQA methods, KARPA avoids stepwise traversal, requires no additional training, and is adaptable to various LLM architectures. Extensive experimental results show that KARPA achieves state-of-the-art performance in KGQA tasks, delivering both high efficiency and accuracy. Our code will be available on Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google