Path Pooling: Training-Free Structure Enhancement for Efficient Knowledge Graph Retrieval-Augmented Generation

要約

大規模な言語モデルは多くのタスクで大成功を収めていますが、実際のアプリケーションの幻覚や知識の欠陥に依然として悩まされています。
多くのナレッジグラフベースの検索された生成（KG-RAG）メソッドは、KGSの構造とセマンティック情報を外部知識ベースとして活用することにより、LLMの品質と信頼性を高めます。
ただし、これらの方法は、高い計算コストが発生するか、利用可能な知識を十分に活用していない、構造情報を効果的に組み込むのに苦労しています。
グラフ表現学習のスムージング操作に触発され、新しいパス中心のプーリング操作を通じて構造情報を導入するシンプルでトレーニングフリーの戦略であるパスプーリングを提案します。
プラグアンドプレイで既存のKG-RAGメソッドにシームレスに統合され、より豊富な構造情報の利用が可能になります。
広範な実験は、最先端のKGラグ法にプールするパスを組み込むことで、さまざまな設定でパフォーマンスを一貫して改善しながら、無視できる追加コストを導入することを示しています。

要約(オリジナル)

Although Large Language Models achieve strong success in many tasks, they still suffer from hallucinations and knowledge deficiencies in real-world applications. Many knowledge graph-based retrieval-augmented generation (KG-RAG) methods enhance the quality and credibility of LLMs by leveraging structure and semantic information in KGs as external knowledge bases. However, these methods struggle to effectively incorporate structure information, either incurring high computational costs or underutilizing available knowledge. Inspired by smoothing operations in graph representation learning, we propose path pooling, a simple, training-free strategy that introduces structure information through a novel path-centric pooling operation. It seamlessly integrates into existing KG-RAG methods in a plug-and-play manner, enabling richer structure information utilization. Extensive experiments demonstrate that incorporating the path pooling into the state-of-the-art KG-RAG method consistently improves performance across various settings while introducing negligible additional cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google