EffiQA: Efficient Question-Answering with Strategic Multi-Model Collaboration on Knowledge Graphs

要約

大規模言語モデル (LLM) は自然言語処理において顕著な能力を示していますが、ナレッジ グラフ (KG) を含む複雑な複数ステップの推論タスクには苦労しています。
LLM と KG を統合する既存のアプローチでは、LLM の推論能力が十分に活用されていないか、密結合により法外な計算コストが発生します。
これらの制限に対処するために、反復パラダイムを通じてパフォーマンスと効率のバランスを取ることができる EffiQA という新しい協調フレームワークを提案します。
EffiQA は、グローバル計画、効率的な KG 探索、および内省の 3 つの段階で構成されます。
具体的には、EffiQA は LLM の常識的機能を活用して、グローバル プランニングを通じて潜在的な推論経路を探索します。
次に、効率的な KG 探索のために、セマンティック プルーニングを小さなプラグイン モデルにオフロードします。
最後に、探査結果は LLM に反映され、地球規模の計画と効率的な KG 探査がさらに改善されます。
複数の KBQA ベンチマークに関する経験的証拠は、推論の精度と計算コストの間の最適なバランスを達成する EffiQA の有効性を示しています。
私たちは、提案された新しいフレームワークが、LLM と KG の統合を再定義することにより、効率的で知識集約型のクエリへの道を切り開き、知識ベースの質問応答に関する将来の研究を促進することを期待しています。

要約(オリジナル)

While large language models (LLMs) have shown remarkable capabilities in natural language processing, they struggle with complex, multi-step reasoning tasks involving knowledge graphs (KGs). Existing approaches that integrate LLMs and KGs either underutilize the reasoning abilities of LLMs or suffer from prohibitive computational costs due to tight coupling. To address these limitations, we propose a novel collaborative framework named EffiQA that can strike a balance between performance and efficiency via an iterative paradigm. EffiQA consists of three stages: global planning, efficient KG exploration, and self-reflection. Specifically, EffiQA leverages the commonsense capability of LLMs to explore potential reasoning pathways through global planning. Then, it offloads semantic pruning to a small plug-in model for efficient KG exploration. Finally, the exploration results are fed to LLMs for self-reflection to further improve the global planning and efficient KG exploration. Empirical evidence on multiple KBQA benchmarks shows EffiQA’s effectiveness, achieving an optimal balance between reasoning accuracy and computational costs. We hope the proposed new framework will pave the way for efficient, knowledge-intensive querying by redefining the integration of LLMs and KGs, fostering future research on knowledge-based question answering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google