A Pilot Empirical Study on When and How to Use Knowledge Graphs as Retrieval Augmented Generation

要約

知識グラフ（KG）をRAG（Retrieval Augmented Generation）フレームワークに統合することは大きな関心を集めており、初期の研究では、幻覚を緩和し、モデルの精度を向上させることが期待されている。しかし、急速に台頭しつつあるKG-RAG手法の体系的な理解と比較分析はまだ不十分である。本稿では、異なる技術構成に関連する様々な応用シナリオにおけるKG-RAGの性能を分析することで、いつ、どのようにKG-RAGを使用するかという疑問に体系的に答えるための基礎を築こうとするものである。KG-RAGフレームワークを用いたマインドマップの概要と、その一般的なパイプラインを要約した後、KG-RAGのパイロット実証研究を実施し、多様なシナリオにおける7つのデータセットで6つのKG-RAG手法を再実装し評価し、17のLLMと組み合わせた9つのKG-RAG構成の影響を分析する。我々の結果は、適切な適用条件とKG-RAGコンポーネントの最適な構成の重要な役割を強調している。

要約(オリジナル)

The integration of Knowledge Graphs (KGs) into the Retrieval Augmented Generation (RAG) framework has attracted significant interest, with early studies showing promise in mitigating hallucinations and improving model accuracy. However, a systematic understanding and comparative analysis of the rapidly emerging KG-RAG methods are still lacking. This paper seeks to lay the foundation for systematically answering the question of when and how to use KG-RAG by analyzing their performance in various application scenarios associated with different technical configurations. After outlining the mind map using KG-RAG framework and summarizing its popular pipeline, we conduct a pilot empirical study of KG-RAG works to reimplement and evaluate 6 KG-RAG methods across 7 datasets in diverse scenarios, analyzing the impact of 9 KG-RAG configurations in combination with 17 LLMs. Our results underscore the critical role of appropriate application conditions and optimal configurations of KG-RAG components.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL